Egy mesterséges intelligencián módszerrel a szakértők képesek voltak az agyi szkenfelvételeket szavakra és mondatokra fordítani. A vizsgálat megmutatja, hogy a megfelelő módszerek és jobb modellek segítségével valóban meg tudjuk fejteni, hogy az alany mit gondol, mondja Martin Schrimpf, a Massachusetts Institute of Technology számítógépes idegtudósa, aki nem vett részt a munkában.

Számos kutatócsoport dolgozik agy-számítógép interfészek (BCI) fejlesztésén, amelyek például egy bénult beteg agyi aktivitását szavakra tudják fordítani. A legtöbb ilyen megközelítés azonban a beteg agyába ültetett elektródákra támaszkodik. A nem invazív technikákkal, például a fejbőrre erősített elektródákon (EEG) keresztül mért agyi aktivitással próbálkozó „fordítások” mostanáig nem jártak sok sikerrel. A korábbi kutatások ráadásul jellemzően beszélni próbáló alanyokra összpontosítottak, és a beszéddel kapcsolatos mozgások létrehozásában részt vevő agyterületekre támaszkodtak. Ezek jellemzően csak akkor működnek, amikor az illető mozog vagy a mozgásra koncentrál.

Alexander Huth, a Texasi Egyetem komputációs idegkutatója és munkatársai most azonban egy olyan, funkcionális mágneses rezonancia képalkotáson (fMRI) alapuló BCI-t fejlesztettek ki, amely közvetlenebbül az agy nyelvet kezelő területeire koncentrál az üzenetek megfejtésekor. Az fMRI az idegtudományi kutatásokban általánosan használt noninvazív módszer, amely az agyi véráramlás változásait követi nyomon az idegi aktivitás méréséhez.

Mint minden BCI esetében, a cél itt is az volt, hogy minden szót, kifejezést vagy mondatot az általa kiváltott agyi aktivitás sajátos mintázatával párosítsanak. A szükséges adatok összegyűjtéséhez a kutatók három résztvevő agyát szkennelték, miközben mindegyikük nagyjából 16 órányi podcastot hallgatott. Ezekkel az adatokkal a szakértők minden egyes alanyra vonatkozóan elkészítettek egy térképsorozatot, amely meghatározta, hogyan reagál az illető agya, amikor egy bizonyos szót, kifejezést vagy jelentést hall. Mivel az fMRI-vel is eltart néhány másodpercig az élő agyi aktivitás rögzítése, ez nem elsősorban konkrét szavakra vonatkozóan rögzíti az agyi aktivitást, hanem inkább egy-egy mondatnyi gondolathoz, mondja Huth.

A csapat aztán az fMRI-adatokat arra használta, hogy betanítsa a mesterséges intelligenciát annak előre jelzésére, hogyan reagál egy adott személy agya a nyelvre. A rendszer kezdetben nehezen tudta az agyi szkenfelvételeket nyelvvé alakítani. De aztán a kutatók bevonták a GPT természetes nyelvi modellt is annak kezelésére, milyen szó következhet egy másik után. A szkennelésekből és a nyelvi modellből generált térképek segítségével végigmentek különböző lehetséges mondatokon és mondatokon, hogy megnézzék, a megjósolt agyi aktivitás megfelel-e a tényleges agyi aktivitásnak. Ha igen, akkor megtartották az adott mondatot, és továbbléptek a következőre.

Ezután az alanyok olyan podcastokat hallgattak, amelyeket nem használtak a tréning során, és közben a rendszer agyi felvételeik alapján próbálta megfejteni, mit hallanak. És apránként sikerült is szavakat, kifejezéseket és mondatokat produkálnia, végül pedig olyan gondolatokat is, amelyek pontosan megfeleltek annak, amit az illető hallott. A technológia különösen jól érzékelte a hallott történetek lényegét, még akkor is, ha nem mindig talált el minden szót helyesen.

A módszer akkor is jól működött, amikor az alany mesélt el egy történetet vagy egy videót nézett. Egy másik kísérletben a résztvevők hang nélkül néztek egy filmet, miközben a rendszer megpróbálta dekódolni, hogy mire gondolnak. Miközben az egyik alany egy animációs filmet nézett, amelyben egy sárkány rugdos valakit, a rendszer ezt szűrte ki: „Leteper a földre.” Mindez úgy zajlott, hogy a résztvevőket nem kérték meg, hogy beszéljenek vagy gondoljanak a beszédre. Huth szerint ez igazán jól demonstrálja, hogy itt valami mélyebb dologról van szó, mint a nyelv. A rendszer szerinte a gondolatok szintjén működik.

A hasonló fejlesztések egy napon segíthet azoknak az embereknek, akik agysérülés, stroke vagy más miatt elvesztették a kommunikációs képességüket. Ehhez azonban nemcsak a technológia továbbfejlesztésére lesz szükség, több képzési adat felhasználásával, hanem arra is, hogy hozzáférhetőbbé váljanak az ilyen megoldások. Az fMRI-alapú megoldások alapvetően nagyon drágák és nehézkesen alkalmazhatók a gyakorlatban. Huth és csapat célja ezért az, hogy egyszerűbb, hordozhatóbb képalkotó technikákkal, például EEG-vel is meg lehessen valósítani az fMRI-vel elért eredményeket.

Bár a módszer egyelőre nem képes a spontán gondolatok dekódolására, az fejlesztés aggodalmakat is felvethet, hiszen a technológia iránya végső soron a gondolatolvasás megvalósítása felé mutat. Ez Huth szerint is elég ijesztő lehetőség, de egyelőre megnyugtató lehet az a tudat, hogy a kísérletek során az egyik személyen betanított rendszer nem volt képes a másik két alany gondolatainak dekódolására sem. És akkor is jelentősen romlott a működés, ha az alanyok ellenálltak, például ahelyett, hogy a podcastra figyeltek volna, magukban számoltak.

Ennek ellenére a magánélet védelme mindig jelentős etikai problémákat vet fel az ilyen típusú neurotechnológiák esetében, mondja Nita Farahany, a Duke Egyetem bioetikusa. A kutatóknak meg kell vizsgálniuk munkájuk következményeit, és idejekorán ki kell dolgozniuk a visszaélések elleni biztosítékokat.