Az elmúlt hónapokban folyamatosan napirenden volt a ChatGPT, és az, hogy az OpenAI által fejlesztett GPT 3.5 nagy nyelvi modellt ki, hol és mire fogja felhasználni. A Google befektetői nem nézték túl jó szemmel, hogy a keresőóriás látszólag lemaradt ezen a fronton, és a napokban arról jött hír, hogy a Meta sem tétlenkedik, és egy nagyon izgalmas nagy nyelvi modellen dolgozik.
Azt rögtön az elején igyekezett letisztázni a Meta, hogy a LLaMA nem állítható szembe a Barddal vagy a Bing AI-jal, esetleg a ChatGPT-vel. Ez nem egy olyan rendszer, ami chatbot funkciót lát majd el, és a fogyasztók szórakoztatására szolgál. Ez inkább egy kutatói eszköz, amit a Meta állítása szerint azzal a céllal fog megosztani az érdeklődőkkel, hogy demokratizálja az ilyen fontos technológiai fejlesztések elérését. Azt szeretné elérni a Meta, hogy hozzájáruljon a nagy nyelvi modellek problémáinak megoldásához, megérthessék, hogy miért válhat egy rendszer elfogulttá vagy éppen toxikussá, és miért kezd néha teljesen hamis információkat generálni.
A Meta nem a lámákról nevezte el a rendszerét: a LLaMA a Large Language Model Meta AI rövidítéséből ered. A cég nagyon hosszú távon tervez ezzel, és éppen ezért az alapokat tekintve máshogy működik, mint a ChatGPT alapját biztosító nagy nyelvi modell. Az pedig, csak a kezdet, hogy nem kereskedelmi célokra szolgál, mert idővel erre a Meta természetesen felhúzhat majd olyan funkciókat, amikkel a mai generatív MI eszközök szolgálnak, képeket generálhat és egy beszélgető alkalmazás számára is alapot adhat.
Egyelőre az a cél, hogy a LLaMA minél több kutatócsapat, egyetem, kormányzati támogatásokból nem részesülő szervezet és ipari szereplő számára legyen elérhető. „Úgy véljük, hogy az egész mesterséges intelligencia közösségnek – akadémiai kutatóknak, civil társadalomnak, politikai döntéshozóknak és az iparnak – együtt kell működnie, hogy egyértelmű iránymutatásokat dolgozzanak ki a felelős mesterséges intelligenciáról általában és a nagy nyelvi modellekről különösen” – szerepel a vállalat a bejegyzésében.
Az ígéreteket tekintve eléggé magasra tette a lécet a Meta. Azt állítja a vállalat, hogy a lényegesen több paraméterrel dolgozó modelleket képes lesz legyűrni a LLaMA, ami egyébként méretezhetőre lett szabva, többféle kivitelben lehet majd használatba venni, attól függően, hogy mit kívánnak a különböző felhasználási célok. A különböző szintek révén pedig akár helyben futtatható opció is hozzáférhető lesz.
A LLaMA 13B 13 milliárd paraméterrel dolgozik majd, és állítólag lekörözi majd a ChatGPT alapját adó modellt (175 milliárd paraméter) a legtöbb mérési szempont alapján. A csúcsot a 65 milliárd paraméterrel dolgozó LLaMA 65B jelenti majd, és ez állítólag jobb lesz, mint a DeepMind Chinchilla70B vagy a Google PaLM 540B (ez már 540 milliárd paraméterrel dolgozik). Elérhető lesz a LLaMA 7 milliárd paraméterrel és 33 milliárd paraméteres opcióban is, és az LLaMA 33B-t például 1400 milliárd tokkenel tanították, míg a LLaMA 7B 1000 milliárd tokenen edződött.
Azt is előre vetítette a Meta, hogy a betanítást követően a LLaMA 13B elfut majd helyben, nem kell hozzá felhős hátteret biztosítani. Elég lesz a használatához egy Nvidia Tesla V100 alapú adatközpont. Ez pedig mindenképpen egy remek hír a kisebb kutatóintézetek számára, akik ezáltal rugalmasabban tudnak majd dolgozni az MI eszközökkel. Persze attól még ez is nagyon messze van, hogy akár egy személyi számítógépen üzembe lehessen állítani, de korábban az is elképzelhetetlen volt, hogy akár ilyen hatékonyságot ennyire hamar el lehet érni.
Az mindenképpen feltűnő, hogy a Meta nem hintett el zsákszámra olyan forró szavakat, mint a képgenerálás vagy a chatbot, de minden bizonnyal annak köszönhető ez, hogy még nincs olyan szinten a LLaMA, hogy a Bing AI ellen ringbe szálljon, és tanult a vállalat a Google baklövéséből, aminek jelentős értékvesztést okozott a Bard egyetlen hibája.
A jövőben a Meta egészen biztos, hogy felhasználja majd a LLaMA-t arra, hogy egyedi funkciókkal lássa el a közösségi szolgáltatásait, így a Facebookot, az Instagramot, a Messengert vagy éppen a WhatsAppot. Sőt mi több, a virtuális valóságban is hasznosíthatja majd ezt a nyelvi modellt és a ráépülő generatív MI eszközöket. De ez még minden bizonnyal odébb van, és látva, hogy ez a terület most mennyire komoly dinamikával fejlődik, megtippelni is nehéz lenne, hogy pontosan mit hoz a jövő a Meta berkeiben.
