A Carnegie Mellon University és az Antropic együttműködésében egy rendkívül érdekes tanulmány készült, amelynek keretén belül azt vizsgálták, a speciálisan tréningezett nagy nyelvi modellek vajon képesek-e önállóan kibertámadást levezényelni, ami egy eléggé komplex feladat, hiszen be kell jutni az adott hálózatba, biztonsági réseket kell találni, majd a konkrét támadó műveletet is kivitelezni kell. Ez a feladat nagyfokú rutint, kiváló helyzetfelismerést, gyors cselekvést és számos trükk ismeretét követeli meg – ilyesmire eddig csak a legképzettebb hackerek voltak képesek, de az AI térhódításával alaposan megváltozhat a terep.

A kutatást a Carnegie Mellon University egyik doktorjelölt hallgatója, Brian Singer vezette, aki csapatával az Anthropic szakembereivel is együttműködött. A munka során arra jöttek rá, hogy az LLM-ek – megfelelő tréning és eszközök esetén – képesek hálózati támadásokat szimulálni, amelyek nagyon hasonlóak a valós környezetben, hackerek által kivitelezett támadásokhoz. Ezek az LLM-ek specializált ügynök-keretrendszerekkel és magas fokú tervezési képességekkel karöltve igen-igen eredményesen indíthatnak támadásokat, igaz, ezeket egyelőre csak szimuláció formájában engedték elvégezni a kutatók.

A konkrét tanulmányban szereplő LLMek képes voltak arra, hogy bejussanak az üzleti hálózatba, képesek voltak a sebezhetőségek felismerésére, valamint arra is, hogy egy több lépésből álló, jól megtervezett támadást hajtsanak végre teljesen önállóan, emberi beavatkozás szükségessége nélkül. Az eredmény azt mutatja, hogy a nagy nyelvi modellek messze nem csak arra alkalmasak, hogy alapvető feladatokat bízzanak rájuk, hanem arra is, hogy autonóm módon, emberi beavatkozás nélkül hozzanak döntéseket és akár egy dinamikusan váltakozó hálózati környezethez is megfelelően alkalmazkodjanak.

Ez a „felfedezés” eléggé kettős helyzetet teremt, hiszen egyrészt a megfelelően tréningezett LLM-ek révén fokozható a biztonság a kibertámadásokkal szemben; másrészt azonban, ha ez a „technológia” rossz kezekbe kerül, az új szintre emelheti a kiberbűnözők lehetőségeit és eredményességüket is jelentősen fokozhatja, hiszen automatizálhatják és skálázhatják támadásaikat. Utóbbival szemben védelmet is nyújthat az AI, a kiberbiztonsági szakemberek segítségével jelentősen fokozhatják a hálózatok védelmét, proaktív módon térképezhetik fel a sérülékenységeket és a gyenge pontokat, így az adott hálózat a támadás-szimuláció révén sokkal biztonságosabbá, ellenállóbbá válhat.

A tanulmány alapján az egyes nagy nyelvi modellek eltérő eredményességgel dolgoztak a különböző feladatok alkalmával, valamint funkcionalitás terén is bőven voltak különbségek köztük. Egyelőre ezen a területen is további fejlesztésekre van szükség az eredményesség, a funkcionalitás, illetve a hatásfok javítására, de arra remekül rávilágít a kutatás, milyen potenciális lehetőségeket rejtenek még az LLM-ek, és azt is megmutatja, mennyire veszélyesek lehetnek, ha rossz kezekbe kerülnek.

A tanulmány részletes és publikus megállapításai itt olvashatóak.