A mesterséges intelligenciában rejlő lehetőségeket egyre több és több területen aknázhatjuk ki, például akár programozás során is, ahol számos opció áll rendelkezésre a produktivitás növelésére, a munka hatékonyabbá és gyorsabbá tételére.

A non-profit METR (Model Evaluation & Threat Research) munkatársai nemrégiben arra voltak kíváncsiak, hogyan hat az AI alapú eszközök használata a szoftverfejlesztők hatékonyságára. Egy olyan tanulmányt készítettek, amelynek keretén belül 16 tapasztalt, nyílt forráskódú szoftvereket fejlesztő szakembert kértek fel, akiknek összesen 246 egyedi programozási feladatot kellett megoldaniuk, ezek között hibajavítások, új funkciók implementálásával kapcsolatos feladatok, illetve egyéb teendők egyaránt sorakoztak. A szakemberek nagy kódbázisokat kezeltek, amelyeket behatóan ismertek, azt viszont mindig véletlenszerűen engedélyezték vagy tiltották nekik, hogy használják az AI alapú programozási segédletet. Maga a segítség egyébként többnyire a Cursor Pro és a Claude 3.5 vagy a 3.7 Sonnet társításából állt, amikor AI alapú segítséget kérhettek.

A tesztelési időszak megkezdése előtt a fejlesztők magabiztosan állították, az AI alapú eszközök révén akár 24%-kal is gyorsabban elvégezhetik majd az egyes feladatokat. A tesztek elvégzését követően még mindig úgy gondolták, az AI alapú munkavégzés 20%-kal gyorsabb volt, mint a normál, AI nélküli üzemmód. A valóság teljesen mást mutatott: az adatok alapján a fejlesztők nemhogy gyorsabban dolgoztak az AI bevetésével, hanem lassultak, méghozzá 19%-kal. Ez az eredmény nemcsak a fejlesztők hatékonysággal kapcsolatos érzékelését cáfolja meg, de azt is, amit a várakozások ígértek.

A kutatók szerint a lassulás mögött több dolog is megbújhat, illetve ezek kombinációjáról is szó lehet. Egyrészt a fejlesztők jellemzően sokkal optimistábbak az AI hasznosságát illetően, mint ahogy azt a technológia képességei indokolnák. A helyzet alakulását az is befolyásolta, hogy a tesztek alkalmával olyan fejlesztőket kértek fel, akik saját, kifejezetten nagyméretű kódbázisukat behatóan ismerik, éppen ezért az AI eléggé keveset tudott hozzátenni a munkához. A projektek komplexitása is nehézséget okozott, hiszen gyakran egymilliónál is több sorból álltak a kódok, ami az AI számára kihívás, hiszen jellemzően a kisebb, kezelhetőbb feladatokban jeleskedik, mint sem a nagy projektek „átlátásában”. Az is probléma volt, hogy az AI által javasolt megoldások inkonzisztensek voltak, a fejlesztők az AI által javasolt kódnak kevesebb, mint 44%-át fogadták el, jelentős mennyiségű időt eltöltve azzal, hogy ellenőrizzék és sok esetben javítsák az ajánlásokat. Az AI többnyire azzal is küzdött, hogy nem tudta megérteni a bonyolult kódsorokban rejlő implicit kontextust, ami félreértésekhez és irreleváns javaslatokhoz vezetett.

Maga a kutatás egyébként rendkívül szigorú metódus szerint zajlott. Minden egyes fejlesztőnek meg kellett becsülnie, mennyi időbe telik a feladat AI bevetésével és AI nélkül, majd el kellett végezniük a feladatot az adott utasításnak megfelelően, saját kijelzőjük tartalmát felvéve, a folyamat végén pedig dokumentálniuk kellett a feladat elvégzéséhez szükséges időt. Annak érdekében, hogy a résztvevők kellően elkötelezettek legyenek, 150 dolláros óradíjjal honorálták munkájukat. Az eredmények konzisztensek voltak a különböző mérések és elemzések alapján, és semmilyen bizonyítékot sem találtak arra, hogy bármiféle rendellenesség történt volna a kísérlet során, ami torzíthatta volna a végeredményt.

A kutatók rámutatnak, a fenti eredményekből nem szabad általánosítani, hiszen ebben a méréssorozatban kifejezetten jól felkészült, nagy kódbázissal dolgozó szakembereket vizsgáltak, akik mélyen ismerik az általuk kezelt kódbázist. Az AI alapú programozást segítő eszközök ezekben az esetekben ugyan nem voltak kellően hatékonyak, de ez nem jelenti azt, hogy kevésbé tapasztalt, vagy éppen kisebb kódbázissal dolgozó, a kódot behatóan nem ismerő fejlesztők számára ne lenne hasznos egy AI asszisztens. Azt is érdemes hozzátenni, hogy az AI technológia villámgyorsan fejlődik, a későbbiekben érkező megoldások már sokkal hatékonyabbak lehetnek a nagyobb kódbázisok esetén is, illetve funkcionalitásuk is bővülhet.

Érdekesség, hogy a nyers mérések szerint az AI használata mellett lassabbak voltak a fejlesztők, mégis úgy érezték, mentálisan kevésbé volt megterhelő a munka az AI asszisztálása mellett, éppen ezért több kutató és fejlesztő is folytatni fogja az AI alapú segítők használatát munkája során.