Az AMD jóvoltából eggyel nőtt azon alkalmazások száma, amelyek segítenek a nagy nyelvi modellek (LLM – Large Language Model) helyben történő futtatásában, méghozzá nyílt forráskódú szoftverként, az LLM működését optimalizálva és pontosságát is javítva valamelyest. A GAIA névre keresztelt alkalmazás kifejezetten Windows alapú számítógépekhez készült, és nemcsak RYZEN AI támogatással bír, egyéb AI gyorsítók használatára is képes, illetve akár a iGPU-ban rejlő lehetőségeket is tudja kamatoztatni. Az új szoftver számos LLM-et támogat, egyebek mellett a Llama és a Phi különböző variánsai is használhatóak vele.

Mivel AMD szoftverről van szó, a RYZEN AI támogatással rendelkező processzorokhoz, amelyek dedikált NPU komponenssel is rendelkeznek, természetesen extra optimalizációt is kínál. Maga a GAIA egyébként a Lemonade SDK köré épül, ami az OMNX TurnkeyML háza tájáról származik, és ami az LLM indukció/dedukció végrehajtásában segít. Az új szoftver a RAG (Retrieval-Augmented Generation) köré épül, ami az LLM-et egy tudásbázissal kombinálja annak érdekében, hogy az LLM a felhasználóval való interakció során hatékonyabban, pontosabban, és az adott kontextushoz illő módon válaszolhasson, ezáltal még hasznosabb lehet.

A RAG lényegében négyféle GAIA ügynököt kombinál, amelyek közül a Simple Promt Completion a közvetlen modell-interakciókra ad lehetőséget tesztelési és ellenőrzési céllal, míg a Chaty egyfajta chatbotként működik, ami beszélgetések lefolytatására ad lehetőséget. A Clip névre keresztelt rész már a YouTube-on történő keresésre és az ezzel kapcsolatos kérdések megválaszolására ad módot. A negyedik verzió a Joker, ami igazából egy viccgenerátor, ennek segítségével némi humorral tudjuk megfűszerezni a chatbot működését.

Az AMD nyílt forráskódú GAIA projektje lényegében úgy működik, hogy a Lemonade SDK-n keresztül különböző futtatókörnyezeteket biztosít az LLM-specifikus feladatok végrehajtására. Ez lényegében az OpenAI kompatibilis Rest API bevonásával egy LLM webszolgáltatást tesz elérhetővé a GAIA alkalmazáson keresztül. Maga a szoftver egy AI alapú ügynökként funkcionál, ami átveszi és feldolgozza az adatokat, ezzel együtt pedig vektorizálja a külső tartalmakat is, amelyeket egy helyi vektorindexben tárol. Ezek a tartalmak származhatnak YouTube-ról, szöveges fájlokból, vagy akár a GitHub-ról is. A GAIA lényegében fel tudja javítani a felhasználói kéréseket, mielőtt az LLM megkapná őket, ezért mind relevancia, mind pedig pontosság terén jobb eredményt kaphatnak a felhasználók.

A nyílt forráskódú szoftver kétféle telepítő formájában érhető el. Az alapverzió a Windows alapú rendszerekhez készült, nem muszáj AMD hardvert használniuk, de az AMD hardverrel ellátott konfigurációkhoz kínálnak egy speciális „hibrid” telepítőt is, ami segít a RYZEN AI funkcióban rejlő lehetőségek kiaknázásában. Utóbbi segítségével az adott RZYEN processzorban található XDNA alapú NPU munkára fogható, illetve az integrált grafikus vezérlő is besegíthet a számításokba.

A GAIA érkezésével ismét eggyel könnyebb lett a nagy nyelvi modellek helyben történő futtatása, aminek több előnye lehet. Egyrészt nem kell felhőalapú szolgáltatásokat használni, ami növeli a biztonságot, másrészt a helyi futtatás révén csökken a késleltetés, illetve esetenként akár a teljesítmény is jobb lehet, attól függően, az adott konfiguráció milyen hardvert használhat. A helyi LLM-ek ráadásul internetkapcsolat nélkül is tökéletesen elvannak.

A GAIA innen tölthető le.