Az UIUC (Univerity of Illinois Urbana-Champaign) kutatói egy érdekes kísérletet végeztek a minap, amelynek keretén belül azt mérték fel, mennyire hatékonyan és gyorsan tudja kiaknázni az ismert, CVE számmal is rendelkező sebezhetőségeket az OpenAI nagy nyelvi modellje, a ChatGPT-4. A tesztek alapján a mesterséges intelligencia a megfelelő keretrendszerrel karöltve meglehetősen hatékonyan dolgozik, az emberi erőforrásokhoz képest nemcsak hatékonyabban, de gyorsabban és olcsóbban is képes elvégezni a feladatokat, ami igazából nem meglepő.
A kutatók a teszt alkalmával több nagy nyelvi modellt, azaz LLM-et is kipróbált, mindegyiknek ugyanazt a feladatot adták, így a GPT-4 mellett a GPT-3.5, az OpenHarmes-2.5Mistral-7B, a Llama-2 Chat (70B), és még néhány egyéb fejlesztés is bevetésre került. A tapasztalatok szerint a GPT-4 az úgynevezett első napi sebezhetőségeknek 87%-át megbízhatóan és sikeresen támadni tudta, vagyis ki tudta aknázni a bennük rejlő lehetőségeket. A többi nagy nyelvi modell, illetve a kifejezetten sebezhetőségek keresésére kifejlesztett szkennerek sem jártak sikerrel, ezek mind-mind csütörtököt mondtak az eléjük tárt sebezhetőségek kapcsán, egyszer sem tudták őket sikeresen támadni.
A kontraszt tehát meglehetősen nagy, a GPT-4 előnye jelenleg ezen a téren (is) óriási. A kipróbált sebezhetőségek mindegyike olyan volt, ami eléggé kritikus ahhoz, hogy a felfedezésüket követően másnap már patchnek is rendelkezésre kéne állnia a befoltozásukhoz. Ezeket a sebezhetőségeket számos professzionális fehér kalapos hacker keresi és teszteli, akik komplett karriert építettek az efféle munka köré: ők segítenek a különböző vállalatoknak még azelőtt megtalálni a sebezhetőségeket, mielőtt azokat a kártékony kódok írói felfedezik és elkezdik kiaknázni.
Noha a meglévő sebezhetőségek támadásában rendkívül hatékonynak és gyorsnak bizonyult a GPT-4, a jelenlegi verzió a sebezhetőségek önálló felkutatására még csak elég kis hatásfokkal képes: azokban az esetekben, amikor hibákat kellett találnia és támadnia, csak 7%-os sikerrátával dolgozott, vagyis ezen a téren még bőven fejlődnie kell. Később persze alkalmas lehet arra, hogy sebezhetőségeket keressen, és ezt a tudást különböző célokra fel is lehet majd használni. A GPT-4 egyébként már most is fejlett, képes ugyanis értelmezni a CVE leírásban található információkat és képes arra is, hogy ezeket felhasználva támadásokat tervezzen és indítson, ráadásul meglehetősen magas sikerrátával teszi.
A kutatók szerint az LLM-ek előnye a kiberbiztonsági szakemberekkel szemben, hogy nagyon jól skálázhatóak, illetve költséghatékonyabbak is, mint az emberi munkaerő. Ha azt vesszük alapul, hogy egy adott kiberbiztonsági szakember 50 dolláros óradíjjal dolgozik, akkor a GPT-4 ezen a téren 2,8x költséghatékonyabbnak mondható, ami nem egy elhanyagolható különbség. Ráadásul az LLM további fejlesztésével még ütőképesebbé válhat ezen a téren is, így idővel nemcsak a meglévő és a CVE adatbázisban szereplő sebezhetőségeket képes minél hatékonyabban kihasználni, de az új, még fel sem fedezett sebezhetőségek felkutatásában is rengeteget javulhat.
Az OpenAI szakemberei természetesen arra kérték a kutatókat, ne hozzák nyilvánosságra a tesztek alkalmával használt promptokat, vagyis azokat a parancsokat, amelyek alapján nagy hatékonysággal aknázta ki a GPT-4 a sérülékenységekben rejlő lehetőségeket. A tesztelt promptokat csak kérésre adják tovább, nyilván csak az adott területen dolgozó szakembereknek.
Az AI fejlődése tehát töretlen, számos területen lehet már hatékonyan bevetni, például akár a chipek tervezésével és fejlesztésével kapcsolatos feladatkörökben is, ahol a hetekig tartó munkafolyamatot akár percekre is lehet csökkenteni általa.
