Az orvostudományi szakirodalomnak minimum a fele téves

A tudományterületek vezetői, szakfolyóiratok szerkesztői és a tudományfinanszírozó szervezetek képviselői részvételével ült össze az a nemzetközi bizottság, amelyik elkészített nyolc különböző irányelvet, és a munka részleteit a Science című lapban hozta nyilvánosságra (Self-correction in science at work).

 

A bizottság – Transparency and Openness Promotion (TOP) Committee – célja, hogy konkrét akciókkal segítsék elő a tudomány megújulását. A létrehozott nyolc irányelv moduláris, lehet egészüket vagy csak részleteiket használni, azonban a szerzői abban bíznak, hogy egy-egy standard adoptálása elő fogja segíteni a többi alkalmazását is. A nyolc irányelv foglalkozik a szakfolyóiratok citációs standardjával, az adatok, az analitikus módszerek (kódok, szoftverek), a kutatás dizájnjának és az eredmények elemzési módszereinek átláthatóságával, a vizsgálatok és azok elemzési tervének (pl. hogy egy hipotézis tesztelése a cél, vagy a kutatás hipotézist akar generálni), valamint replikációjuk terveinek preregisztrációjával. A bizottság hangsúlyozza, hogy mindez egy evolúciós folyamat része, és várják az irányelvek használóinak javaslatait azok további javítása érdekében. Hozzáteszik: az egyetemeknek is ki kellene venni a részüket a tudomány megújításából és presztízsének helyreállításából, ragaszkodniuk kellene ahhoz, hogy tanulóik megfelelő oktatásban részesüljenek a kutatással kapcsolatos etika területén, és ahhoz is, hogy kutatóik ne adják nevüket „szellemírók” által írt cikkekhez, továbbá eredményeiket ne tálalják túlzó stílusban a sajtónak, a sajtó pedig ne szenzációhajhász módon közelítsen a tudomány eredményeihez.

 

A tudomány válsága jóval nagyobb, mint gondolnánk, írja már idézett cikkében (Offline: What is medicine’s 5 sigma?) Richard Horton, a The Lancet szerkesztője. A tudomány jelenleg a sötétség felé halad: a szakirodalom legalább fele nem valódi, hanem hamis eredményeket közöl, a tudósok igen gyakran úgy módosítják adataikat, hogy azok illeszkedjenek világnézetükhöz, a statisztika eszközeinek helytelen használatával tündérmeséket alkotnak, és az egyetemek sem a minőséget, hanem a nagy impakt faktorú lapban való publikálást támogatják.

 

A legnagyobb megoldandó probléma a tudomány alapjait fenyegető reprodukálhatatlanság megoldása: mint arról a MedicalOnline is beszámolt, a preklinikai vizsgálatok túlnyomó többsége nem reprodukálható (részben ez okozza a gyógyszerfejlesztés magas költségeit) (pl. 53 tanulmányból, amelyek vezető rákkutatással foglalkozó folyóiratokban jelentek meg, csak 6-ot sikerült reprodukálni, egy másik vizsgálat pedig 79%-os kudarcarányt talált).

 

A Transparency and Openness Promotion Committee beszámolója mellett a Science most három másik írást is közölt, amelyek részletesen bemutatják a problémát, és megoldási javaslatokkal is szolgálnak. A Solving reproducibility című szerkesztőségi cikk a ma már igen bonyolult kutatási folyamat menedzselésében és átláthatóságának segítésében komoly szerepet játszó nyílt forráskódú rendszerek (pl. Open Science Framework)fejlesztésére és használatára bíztat. A The cancer test című írás a rákkutatások reprodukálhatóságát vizsgáló Reproducibility Project-ről és annak nehézségeiről számol be (amelyek részben abból következnek, hogy a kutatók nem használják az előbb említett munkafolyamatot elősegítő rendszereket, így a reprodukáláshoz szükséges adatokat csak nagy nehézségek árán tudják összeszedni), amely a Science-ben, a Nature-ben és a Cell-ben 2010 és 2012 között megjelent, 50 alapvetően fontosnak tartott, legtöbbet idézett vizsgálatot akar reprodukálni – részeredmény ez év őszén, végleges eredmény 2017-re várható. Mint a cikk megjegyzi, az eddigi legnagyobb lecke, amit meg kell tanulnunk, hogy alapvetően át kell alakítani az eredmények publikálásának módját, mivel a jelenlegi tanulmányok elmulasztanak alapvető információkat közölni azzal kapcsolatosan, hogy hogyan hajtották végre a következtetéseket megalapozó kísérleteket, továbbá a folyóiratoknak ragaszkodniuk kellene ahhoz, hogy csak olyan kutatásokat közöljenek, amelyeket megfelelően terveztek meg – ma ez sem így van. A harmadik Science-írás – Promoting an open research culture – többek között azt hangsúlyozza, hogy szükség lenne egy univerzális, centralizált elvárásrendszerre, amiben az egyetemek, a tudományfinanszírozók és a folyóirat-kiadók egységesen lépnek fel az átlátható, minőségi tudomány érdekében, és nem részérdekeket képviselnek, amik mára félrevitték a gyakorlatot.

 

A tudósok szeretik azt hinni, hogy a tudomány kijavítja saját hibáit, azonban riasztó, hogy ez a hit milyen óriási mértékben hamis – ez a címe annak a Science idézett cikkeiben többször említett írásnak, ami 2013-ban a The Economistban jelent meg, és a laikusok számára is érthető módon és igen alaposan feltárta a helyzet súlyosságát (Scientists like to think of science as self-correcting. To an alarming degree, it is not).

 

Néhány adat a cikkből:

 

-Bár a tanulmányok legalább fele téves, és az elmúlt évtizedben tízszeresére nőtt a visszavont cikkek száma, az évente publikált 1,4 millió tudományos szakcikknek így is csak a 0,2%-át vonják vissza.

 

-A peer-review is rosszul működik, a BMJ pl. azt találta, hogy 200 rendszeres értékelője, akiknek a lap elküldött egy tanulmányt, amelyben szándékoltan 8 különböző hiba is volt (a dizájn, az analízis vagy az intepretáció hibái) átlagosan kevesebb, mint 2 hibát vett észre.

 

-A vizsgált 84 orvostudományi szaklapban megjelent 238 szakcikk több mint fele elmulasztott közölni olyan adatokat, amelyek alapvetőek lennének a reprodukáláshoz.

 

-A világ 50 vezető folyóiratából random módon kiválasztott 351 tanulmányból mindössze 143 tartotta magát azokhoz a transzparenciát elősegítő elvekhez, amelyeket a folyóirat – elméletben – képviselt.

 

A cikk végül is megállapítja, és ennek talán örülni is lehet, hogy a szándékos csalás valószínűleg csak második az inkompetencia után a téves eredmények generálásában.