A Google fejlesztőcsapata egy rendkívül nagy jelentőségű eredményt ért el az AI modellképzés terén, hála a DeepMind részlegnek, ahol a friss tanulmány alapján megoldást találtak arra, hogyan lehet jelentősen felgyorsítani az AI modellek dedukciós szakaszát, illetve arra is, hogyan lehet jelentősen energiahatékonyabbá tenni a folyamatot a jelenlegi technológiákhoz képest. A végeredmény lényegében egy nagyságrenddel növeli a tréningezés teljesítményét, illetve az energiahatékonyságot is.

A tanulmány eredményeinek publikálása nem is jöhetett volna jobbkor, hiszen éppen téma az AI jellegű feladatok elvégzéséhez szükséges teljesítményigény, valamint az is, hogy az AI feladatokra koncentráló adatközpontok „lábnyomával” az idő előrehaladtával kezdeni kell valamit, hiszen rengeteget fogyasztanak. A Google fejlesztése egy jó lépés lehet a megfelelő irányba, ugyanis a JEST tréningmódszer jóvoltából az AI modellképzés akár 13x gyorsabban történhet, mint a mai technológiákkal, ezzel egy időben pedig az energiahatékonyság is jelentősen, akár 10x-es mértékben javulhat.

A DeepMind részleg kutatói által kifejlesztett JEST (Joint Example SelecTion) egy teljesen új módszert alkalmaz az eddigi AI modellképzési technológiákhoz képest, ami egyszerű és hatékony. A normál dedukciós munka jellemzően az egyedi adatpontokra fókuszál a tréningezés és a tanulás esetében, míg a JEST már nem egyedi adatpontokat, hanem teljes adatkötegeket használ. Ennek lényege, hogy első körben készül egy kisebb AI modell, ami az extrém magas minőségű forrásokból származó adatok minőségét osztályozza, ezzel a kötegeket minőség alapján rangsorolja is. A kész rangsort a következő lépésként egy alacsonyabb minőségű adatkészlettel hasonlítja össze, majd meghatározza, mely kötegek passzolnak legjobban az adott dedukciós feladathoz, majd a végső nagy modellt a kis modell által meghatározott adatkészletek segítségével kezdik el tanítani. Magáról a részletes folyamatról ez az összefoglaló ad teljes képet, amelyben megtalálhatóak a kutatás legfontosabb megállapításai.

A kutatók szerint a JEST modell működésének sikeréhez elengedhetetlen, hogy az adatkiválasztási folyamat során kisebb, megfelelően kiválogatott adatpontokból álló adatkészleteket hozzanak létre, amelyek így kiválóan illeszkednek az adott tanítási feladathoz, gyakorlatilag csak így érhető el a fent említett gyorsulás és energiahatékonyság-növekedés.

Az adatpontok és adatkészletek válogatásához szakemberek általi felügyeletre van szükség annak érdekében, hogy a végeredmény a lehető legmagasabb minőséget képviselje, ugyanis ettől függ a modell tréningezésének hatékonysága. A JEST módszer elsősorban professzionális szakamberekkel dolgozó területeken jöhet jól, nem az amatőr és hobbiszinten AI modelleket tréningező felhasználóknál, hiszen az adatpontok és az adatkészletek megfelelő minőségben történő előállítása nem könnyű feladat.

Az egyelőre rejtély, hogy a JEST módszert átveszik-e majd az AI piac meghatározó szereplői, vagy sem. Az viszont biztos, hogy az újabbnál újabb AI modellek tréningezése egyre drágább és erőforrás-igényesebb feladat lesz a jövőben. A GPT-4o dedukciójához nagyjából 100 millió dollárt költöttek el, de a következő generációs, nagyobb méretű modelleknél ez az összeg már az 1 milliárd dollárt is elérheti, illetve meg is haladhatja, így a folyamat hatékonyságának javítása kulcsfontosságú szempont – az optimalizáció itt igencsak zsebre megy.

Az AI jellegű munkafolyamatok 2023 folyamán 4,3 GW-nyi energiát emésztettek el, ami majdnem akkora érték, mint Ciprus, egy teljes nemzet áramfogyasztása, természetesen ugyancsak éves szinten nézve. Az AI modellek kiszolgálása energiaigényes és drága feladat, a Google esetében például egy normál kereséshez képest egy ChatGPT kérés 10x többe kerül. Az ARM vezetője is úgy látja, az AI az elkövetkező évek folyamán egyre nagyobb fogyasztást generál majd, ennek hatására 2030-ra az Amerikai Egyesült Államok villamosenergia-hálózatának egynegyedét veheti igénybe. A fentiek alapján mindenképpen kezdeni kell valamit a helyzettel, és a háttérben már sokan el is indultak a lehetséges megoldások felé.