1. oldal
Óriási munkába vágott bele négy évvel ezelőtt Brian Nosek, a Virginiai Egyetem kutatója, a Center for Open Science alapítója: a szociálpszichológus 269 kollégájával együtt 2011 novembere óta minden szabadidejét azzal töltötte, hogy megismételjen100 publikált pszichológiai kísérletet. A kutatók arra voltak kíváncsiak, hogy mennyire megismételhetők a korábbi vizsgálatok eredményei. A Reprodukálhatósági Projekt tehát az első pillanattól sem kecsegtetett óriási áttörések reményével, a résztvevők célja ehelyett az volt, hogy szisztematikusan körüljárják azt a kérdést, amely titokban (és kevésbé titokban) évtizedek óta izgatja a pszichológia művelőit és kritikusait: milyen arányban tekinthetők megbízhatónak a tudományterület eddig felmutatott eredményei?
Egyes jelek arra utaltak az elmúlt években, hogy ez az arány elkeserítően alacsony. A pszichológia területét az elmúlt időszakban számos botrány rázta meg, olyan kísérleteket nem sikerült kielégítően megismételni, amelyek a tudomány sarokköveinek számítottak, számos esetben kiderült, hogy bizonyos áttörőnek hitt eredmények az adatok manipulálásának vagy meghamisításának következményei, és közben neves folyóiratokban olyan (tudományosan megalapozatlan) tanulmányok jelentek meg, amelyek állítólagosan az ember prekognitív vagy más természetfeletti képességeit igazolták.
A pszichológia sok más tudományhoz hasonlóan szenved a publikációs torzítástól, vagyis attól, hogy többségükben azon tanulmányok jelennek meg folyóiratokban, amelyek pozitív eredménnyel zárultak, azaz olyan adatokat vonultatnak fel, amelyek megerősítik a kutatók előzetes feltevéseit. A sikertelennek ítélt vizsgálatok ezzel szemben a legtöbbször a fiók mélyén végzik. Ezen túl az is komoly problémát okoz, ami az eredmények megbízhatóságát illeti, hogy a szakértők körében számos megkérdőjelezhető módszer használata vált általánossá, mi több, elfogadottá.
Ilyen gyakorlat például, hogy a kutatók menet közben megnézik, hogy a meglévő adatokból kínálkozik-e statisztikailag szignifikáns eredmény, és ennek fényében döntenek az adatgyűjtés folytatásáról. Vagy csak a sikeresnek ítélt kísérletekről számolnak be publikációjukban. Az ilyen problémák elkerülése végett 2004-ben több neves orvosi folyóirat is úgy döntött, hogy a továbbiakban kizárólag olyan gyógyszerkísérletek eredményeit publikálják, amelyeket előre felvettek egy nyilvános adatbázisba, így a kísérleteknek negatív eredmény esetén is nyoma marad, valamint pontosan nyomon követhető, hogyan jutottak el az eredményekig a kutatók.
Más tudományok esetében azonban sokáig nem történt hasonló kezdeményezés. A pszichológusok azonban az utóbbi években egyre inkább érzékelni kezdték a probléma nagyságát, és sokan egyenes úgy vélték, hogy reprodukálhatósági válság a pszichológia mint tudomány létét veszélyezteti. Mások ezzel szemben azt hangoztatták, hogy nincs szó válságról, és felesleges vészmadárkodni. Ilyen körülmények között óriási várakozás előzte meg Nosek projektjének eredményeit, amelyeket a Science oldalain publikáltaka kutatásban résztvevő szakértők.
Ami a konkrét számokat illeti, a Reprodukálhatósági Projekt eredményei szerint a megismételt kísérletek mindössze 36 százalékában sikerült statisztikailag szignifikáns eredményt felmutatniuk a szakértőknek, holott az eredeti kísérletek során ezek 97 százaléka ilyen eredményt hozott. Mindez persze közel sem jelenti azt, hogy a pszichológiai kutatási eredmények kétharmada hazugság lenne. Statisztikailag szignifikáns eredményről ezen kísérletek esetében többnyire akkor beszélhetünk, ha a szignifikanciaszint kevesebb mint 0,05. Ez azonban egy művileg meghúzott határvonal, amely ugyan azt jelzi, hogy az ezen belülre eső összefüggések jó eséllyel nem a véletlen művei, hanem ténylegesen létező kapcsolatot jeleznek, viszont semmiképpen sem jelenti azt, hogy az említett szignifikanciszintről éppen csak „lecsúszó” összefüggések ne lehetnének valóságosak.
Nosek és csapat ennek tudatában még mélyebbre ásta magát az adathalmazban, és a hatásnagyságot is tekintetbe vette. Ez a megfigyelt jelenség erősségét jelző mutató, vagyis lényegileg arról van szó, hogyha azt vizsgáljuk egy kísérletben, hogy a piros fények dühössé teszik-e az embereket, a hatásnagyság fogja megmondani, hogy mennyivel válnak dühösebbé a fény láttán. Nosekék ezt is tekintetbe vevő eredményei még aggasztóbbnak tűnnek az előzőekben ismertetett számoknál: a megismételt kísérletek esetében átlagosan fele akkora hatásnagyságot mutattak ki a szakértők, mint amiről az eredeti tanulmányok beszámoltak.
2. oldal
John Ioannidis, a Stanford kutatója és az ellenőrző kísérleti mozgalom egyik élharcosa meglepett és csalódott volt az eredmények hallatán, mivel a megismételhetőségi arány még annál is alacsonyabbnak bizonyult, mint várta. Nosek, aki saját bevallása szerint született optimista, ugyanakkor nem látja ennyire sötéten a helyzetet. Az eredmények valóban elég kijózanítóak, de az a tény, hogy ez a kutatás egyáltalán megtörtént, jelzi, hogy a pszichológusok megkezdték a szükséges lépéseket a problémák megoldására. Fantasztikus élmény volt, ahogy mindenki közösen dolgozott egy nagyon specifikus cél elérése érdekében, amiért gyakorlatilag semmiféle elismerésre nem számíthatott senki, mondja a szakértő.
A projekt grandiózus voltát annak kritikusai sem vitatják. „Heroikus vállalkozás volt” – mondja Jason Mitchell, a Harvard kutatója, aki többször is negatívan nyilatkozott a reprodukálhatósági mozgalomról. „A résztvevők száma és az a precizitás, amellyel a vállalt feladatokat kivitelezték egészen elképesztő.” Mindez kiváló példája annak, hogyan kellene működnie a tudománynak, megkérdőjelezve mindent, különösen saját előfeltevéseit, módszereit és eredményeit, teszi hozzá a kutató.
A történelmi jelentőségű eredményekkel ugyanakkor ugyanaz a probléma, mint sok hasonló adathalmazzal: nagyon nehéz értelmezni, hogy mindez mit is jelent. Valóban annyira rosszak ezek a mutatók? A tudomány a kockáztatásról és a határok feszegetéséről szól, így még optimális esetben is lesznek álpozitív eredmények, mondja Sanjay Srivastava, az Oregoni Egyetem pszichológusa. Ha a 36 százalékos reprodukálhatósági arány rossznak számít, mennyinek kellene lennie a végeredménynek, hogy mindenki elégedett legyen?
A sikertelenül megismételt kísérletek eloszlását még nehezebb megmagyarázni. A vizsgálat talán legmegosztóbb eredménye, hogy annak tanúsága szerint a kognitív pszichológiai kísérletek kétszeres valószínűséggel ismételhetők meg a szociálpszichológiai kísérletekhez képest. „Ez számomra is meglehetősen kényelmetlen” – mondja Nosek, aki szociálpszichológiával foglalkozik. És persze egy ilyen eredmény csak tovább szítja a pszichológia különböző ágazatai közti civakodást.
Nosek elmondása szerint azonban a kérdéses eredmény egyszerűen a területek eltérő jellegéből adódik. A hatásnagyság mind a kognitív, mind a szociálpszichológiai kísérletek esetében jelentősen csökkent a megismétléssel, a kognitív vizsgálatok esetében azonban ez kevésbé rontotta a reprodukálhatósági mutatót, mivel ezek a kísérletek rendszerint sokkal nagyobb hatásokat rögzítenek, mint a társas kapcsolatokat kutatók, ahol a vizsgálatok eredményét sokkal több körülmény befolyásolja.
„A látás működése valószínűleg meglehetősen egységes a különböző emberekben, az viszont, hogy hogyan reagál valaki egy megalázó helyzetben, nagyon változatos lehet” – mondja a szakértő. A kognitív kísérletek során ráadásul sokszor ugyanazon embereket tesztelik különböző körülmények között, míg a szociálpszichológiában eltérő alanyok viselkedését vetik össze különböző helyzetekben. Ilyen körülmények közt pedig jóval nehezebb megtalálni a jelet a zajban.
Még távolabbra kanyarodva, az a tény, hogy egy megismételt kísérlet nem úgy sikerül, mint az első, ugyanúgy nem cáfolja az eredeti tanulmányban lefektetett állításokat, ahogy a sikeres kísérlet sem igazolta ezeket minden kétségen felül. Számtalan oka lehet annak, hogy két kísérleti próbálkozás eltérő eredménnyel zárul. Elképzelhető, hogy a véletlenek összjátéka miatt alakul így, vagy az eredeti kísérlet során valami hibát vétettek a szakértők.
De ugyanígy az is lehet, hogy a megismételt kísérlet során rontottak el valamit, vagy csináltak másként a kutatók. Az eltérések abból is adódhatnak, hogy más résztvevőkkel volt dolguk a kutatóknak. És ha már pszichológiáról van szó, Mitchell szerint azt a kérdést is érdemes lehet feltenni, hogy a projektben résztvevő szakértők mennyire igyekeztek úgy értelmezni (netán akaratlanul úgy alakítani) az eredményeket, hogy azok megfeleljenek előzetes − negatív − elvárásaiknak.
3. oldal
Nosek ugyanakkor úgy véli, hogy kollégáival együtt mindent megtettek azért, hogy objektívek tudjanak maradni. A megismételt kísérletek elvégzőinek többsége (100 csapatból 97), együtt dolgozott az eredeti tanulmány szerzőivel, akik kiegészítő anyagokkal, tanácsokkal és segítséggel látták el a kutatókat. A csapatok előzetesen mindig regisztrálták kísérleti tervüket, majd annak megfelelően haladtak előre. A szakmai összetűzések és bosszúhadjáratok elkerülése végett Nosek ráadásul nagyon jól körülhatárolta, hogy honnan lehet kiválasztani a reprodukálni kívánt kísérleteket: három nagyobb pszichológiai folyóirat 2008-as számaira korlátozta az opciókat. Ami pedig a negatív elvárásokat illeti, Nosek elmondása szerint kollégái kifejezetten csalódottak voltak, ha nem sikerült egy korábbi kísérletet hasonló eredménnyel megismételni. Úgy érezték, hogy mindent beleadtak, mégis kudarcot vallottak.
„Ez sokak számára nagyon meglepő volt” – mondja Nosek. „Ami nem jelenti azt, hogy az eredeti kísérletek rosszak voltak vagy álpozitív eredményt produkáltak, hiszen más oka is lehet megismételhetetlenségüknek. Annyi azonban világossá vált, hogy közel sem értjük annyira a feltárt összefüggések, mint hittük. Ezt pedig nem lehet figyelmen kívül hagyni. Előttünk állnak az adatok, amelyek azt üzenik, lehet ezt jobban is csinálni.”
És hogy mi ez a jobb út? Dorothy Bishop, az Oxford neuropszichológusa szerint a kutatási tervek előzetes regisztrálása fontos kezdőpont lehetne: „Egyszerűen arról van szó, hogy ha előre meg kell mondani, hogy mi a hipotézisünk és ezt hogyan tervezzük igazolni, nem marad lehetőség arra, hogy a vizsgálat lefolytatása után kiszemezgessük legmutatósabb eredményeket.” Lényeges lenne továbbá, hogy a pszichológusok is nagyobb esetszámú vizsgálatokat végezzenek, hiszen így csökkenne annak az esélye, hogy valamilyen előre nem látott, ritka körülmény befolyásolja az eredményeket.
A betegségeket specifikus génvariánsokhoz kötő korai genetikai kutatások rengeteg olyan összefüggésre világítottak rá, amelyről utólag kiderült, hogy a véletlen műve. A megoldást ebben az esetben az jelentette, hogy nagy kollaboratív vizsgálatokba kezdtek a szakértők, sok intézménnyel és rengeteg önkéntes résztvevővel, ami jelentősen csökkentette az álpozitív eredmények számát.
Szintén sokat segítene a pszichológiának, ha a kísérleti eredményekhez vezető út ellenőrizhetőbb lenne, ehhez viszont a tanulmányokban részletesebben be kellene számolni az alkalmazott módszerekről. Továbbá mindenki számára hozzáférhetővé kellene tenni azon információkat és adatokat, amelyeket már összeszedtünk, mondja Bobbie Spellman, a Virginiai Egyetem kutatója. A szakértők mostanáig is sokszor ellenőrizték egymás eredményeit, ezen erőfeszítések többsége azonban rejtve maradt, mivel a tudományos folyóiratok nem szívesen publikálják az ellenőrző kísérletek eredményeit.
A változás talán már meg is kezdődött. Egyre több folyóirat fordít figyelmet az eredmények megismételhetőségének kérdésére, és egyre több helyen kötik előzetes regisztrációhoz a kísérleti eredmények közlését. Nosek saját szervezete, a 2013-ban alapított Center for Open Science közben pedig azon munkálkodik, hogy átláthatóbbá és nyíltabbá tegye a kutatásokat. Legutóbbi kezdeményezésük egy preregisztrációs pályázat, amelyben az első 1000 kutatási tervét előre leadó kutatócsoport 1000 dolláros jutalomban részesül tanulmánya megjelenése után.
Nosek központja más tudományterületek művelőivel is együttműködik, hogy képet kapjon arról, másutt mennyire működik a reprodukálhatóság. A szakértő egyik kollégája, Tim Errington például egy olyan projekten dolgozik, amelynek célja 50 jelentősnek hitt tumorbiológiai vizsgálat megismétlése. Nagyon reménykedem abban, hogy nem egy egyszeri próbálkozás a miénk, hanem egy új kutatási terület van kialakulóban, amely magát a tudományos megismerhetőséget és annak határait vizsgálja, mondja Nosek.
Mert ha valamire rávilágított a most megjelent tanulmány, az pontosan a tudomány (bármiféle tudomány) mibenlétének kérdése. Ahogy Lisa Feldman Barrett, a Northeastern University pszichológia professzora Nosek eredményei kapcsán oly találóan megfogalmazta: „A tudomány nem előásható tényekből áll, amelyek egymás mellé lógatott égőkként világítják meg az egyetemes igazság felé vezető egyenes utat. A tudomány egy módszer, amellyel mérhetővé tehetjük a hipotézissel kapcsolatos kétségeinket, és feltárhatjuk, hogy milyen körülmények közt valószínű egy jelenség bekövetkezése. Ha nem sikerül megismételni egy kísérletet, az nem hiba, hanem a módszer velejárója. És pontosan ez az, ami segít megtalálni az utat – azt csodálatosan tekergős ösvényt −, amely a tudományos felfedezéshez vezet.”
