Az Amgen gyógyszercég kutatói 2012-ben 53 nagy port kavaró rákkutatási eredményt próbáltak megismételni a saját laboratóriumukban, mielőtt gyógyszert fejlesztettek volna rájuk, és a felfedezések közül mindössze hat állta ki a próbát.

Az orvosi kutatások megbízhatósága azóta a tudomány egyik legtöbbet vitatott kérdése, és a jelenséget reprodukálhatósági válságnak nevezik. A reprodukálhatóság azt jelenti, hogy egy kísérletet egy másik csapat ugyanúgy elvégezve hasonló eredményre jut, ahogyan egy jó receptből is egy másik konyhában ugyanaz a sütemény sül ki. Miért nem sikerül ez olyan sok vizsgálatnál, és kik a szereplői annak a rendszernek, ami ezt lehetővé teszi?

A kutató, akinek eredményt kell felmutatnia

A kutatók pályája a publikációikon múlik, hiszen az állás, az előléptetés és a következő pályázat elnyerésének lehetősége is ezeken múlik. Egy pozitív, meglepő eredményt sokkal könnyebb publikálni, mint azt, hogy egy gyógyszer nem hatott, ezért a negatív eredmények gyakran az íróasztal fiókjában maradnak.

A Nature 2016-os felmérésében 1576 kutató válaszolt, és több mint 70 százalékuk számolt be arról, hogy már próbálta megismételni más kutatók kísérletét sikertelenül, a saját kísérletével pedig több mint a fele kutatónak nem sikerült az ismételt mérés. A válaszadók 52 százaléka jelentős válságról beszélt. A kutatók többsége tehát maga is érzékeli a problémát, és a legtöbb esetben nem csalásról, inkább kapkodásról, túl kicsi mintán végzett kutatásról és a kedvező eredmények kiválogatásáról tesznek említést.

A statisztika, ami kedvez a szerencsés véletlennek

John Ioannidis 2005-ös, azóta sokat idézett tanulmányában azt állította, hogy a publikált kutatási eredmények többsége valószínűleg téves. Az érvelése szerint minél kisebb a vizsgálat és a hatás, és minél több elemzést futtatnak le ugyanazon az adaton, annál nagyobb az esélye, hogy a talált összefüggés csak véletlen.

A kutatások nagy része az úgynevezett p-értékre támaszkodik, ami azt mutatja meg, mennyire lenne valószínű a kapott eredmény, ha valójában semmilyen hatás nem létezne. Ha húsz különböző dolgot vizsgálunk meg egyszerre, az egyik puszta véletlenségből is „szignifikánsnak” fog látszani, ugyanúgy, ahogy ha húszszor dobunk két kockát, az egyik dobás nagy valószínűséggel szokatlan eltérő lesz a többitől. Az Amerikai Statisztikai Társaság 2016-ban külön nyilatkozatban figyelmeztetett, hogy a p-érték önmagában nem bizonyítja egy hatás valódiságát.

Ioannidis becslését is sokan bírálták, Leah Jager és Jeffrey Leek például orvosi folyóiratok adatai alapján 14 % körülire tette a téves eredmények arányát. A pontos szám tehát vitatott, abban viszont a legtöbben egyetértenek, hogy a kis mintás, egyetlen laboratóriumban végzett kísérletek eredményeit óvatosan kell kezelnünk.

A folyóirat és a bírálók

A tudományos folyóiratok a beküldött cikkeket szakmai bírálókhoz küldik, akik ellenőrzik a módszert és a következtetéseket. A bírálók azonban jellemzően nem kapják meg a nyers adatokat, és nem ismétlik meg a kísérletet, így egy hibás eredmény könnyen átjuthat a szűrőn.

A visszavont cikkek száma is ezt mutatja, hiszen 2023-ban több mint 10 000 tudományos közleményt vontak vissza, ebből több mint 8000-et egyetlen kiadó, a Hindawi folyóirataiból. Ennek nagy részét úgynevezett cikkgyárak állították elő, amik pénzért gyártanak hamis vagy félig hamis tanulmányokat, és szerzőként való feltüntetés lehetőségét árulják bennük. A Retraction Watch adatbázisa ma már több mint 60 000 visszavont cikket tart számon.

A laboratórium, ahol az ismétlés eldől

A legnagyobb szabású ellenőrzés a rákkutatásban zajlott, ahol egy független csoport nyolc éven át próbált megismételni nagy hatású kísérleteket. Az eredetileg tervezett 193 kísérletből végül csak 50-et tudtak elvégezni 23 tanulmányból, mert egyetlen eredeti közleményben sem volt elég részletes a módszer leírása, és a szerzőktől sem kaptak mindig választ. A legtöbb kísérletnél ezért elölről kellett kitalálniuk a pontos lépéseket.

Amit meg tudtak ismételni, ott a hatások átlagosan 85 százalékkal kisebbek lettek az eredetileg közöltnél. A pszichológiában 2015-ben hasonló vállalkozás 100 vizsgálatból 36-nál kapott az eredetihez hasonló, statisztikailag szignifikáns eredményt. Az ipari laboratóriumokban sem jobb a helyzet, a Bayer kutatói 67 belső projektjükből csak minden negyedik-ötödiknél tudták a publikált adatokat teljesen megerősíteni.

A beteg és a társadalom, aki a számlát fizeti

Leonard Freedman és munkatársai 2015-ben azt becsülték, hogy az Egyesült Államokban évente 28 milliárd dollárnyi preklinikai, vagyis az emberi vizsgálatok előtti, sejteken és állatokon végzett kutatás nem reprodukálható. A becslést módszertana miatt sokan vitatják. Az irány viszont egyértelmű, hiszen minden hibás alapkutatás évekkel és milliókkal késleltetheti a valódi gyógymódokat.

Ugyanez a rendszer a jó ötleteket is elszalaszthatja, hiszen Karikó Katalint 1995-ben lefokozták a Pennsylvaniai Egyetemen, mert az mRNS-kutatásaira nem kapott pályázati pénzt, 2023-ban pedig ezekért a kutatásokért Drew Weissmannal együtt orvosi Nobel-díjat kapott.

Mit változtatnak a reformok?

A legígéretesebb változás az előzetes regisztráció, amikor a kutatók még a kísérlet előtt nyilvánosan rögzítik, mit és hogyan fognak mérni, így utólag nem válogathatnak a kedvező eredmények között. A klinikai vizsgálatokban ez 2005 óta feltétele a vezető orvosi folyóiratokban való megjelenésnek. Robert Kaplan és Veronica Irvin 2015-ös elemzése szerint az amerikai szívgyógyászati vizsgálatokban a kötelező regisztráció előtt a vizsgálatok 57 %-a hozott kedvező eredményt, utána már csak 8 százalékuk.

Ma már több mint 300 folyóirat fogad be úgynevezett regisztrált tanulmányt is, ahol a bírálók a kísérlet terve alapján döntenek a közlésről, még az eredmények ismerete előtt. A kutatók értékelésében is lassú a változás, és egyre több intézmény ígéri, hogy nem a folyóiratok rangja, inkább a munka tartalma alapján bírálja el a pályázókat.

Egy kutató, aki belülről írja le a rendszert

Szabó Csaba Győrben született, a Semmelweis Egyetemen szerzett orvosi diplomát, több mint két évtizedet dolgozott amerikai egyetemeken, 2018 óta pedig a svájci Fribourgi Egyetem farmakológia professzora. Több száz tanulmánya jelent meg, így a reprodukálhatósági válságot nem kívülállóként írja le, hiszen évtizedek óta maga is része annak a rendszernek, amit bírál.

“Ez a könyv egy merész kiáltvány, amely leleplezi az orvosbiológiai kutatás jelenlegi, elkeserítő állapotát – minden becsületes és elkötelezett tudós nevében. Szabó professzor alapos elemzést ad az észszerűtlen kutatási ösztöndíj-odaítélési rendszerekről és a korrupt publikációs gyakorlatokról, és átfogó reformokat sürget.” – Dr. Karikó Katalin, Szegedi Tudományegyetem professzorának ajánlója

Az Elpazarolt orvostudomány – Hiteltelen kutatók, megbízhatatlan kísérletek című könyv a tudományos élet szereplőit és a kutatási hibákat sok konkrét esettel és saját tapasztalatok alapján mutatja be, valamint javaslatokat is tesz arra, hogyan lehetne a kutatásfinanszírozást és a publikálást megreformálni.