Elon Musk néhány napja beszélt arról, hogy rövidesen megnyithatják a Grok forrását, és erre most sort is kerített a fejlesztésen dolgozó xAI. A tervek szerint a vállalat képes lesz versenyre kelni a Metával, a Google-lel és persze az OpenAI-jal is, amit Elon Musk most éppen próbál beperelni azért, mert véleménye szerint a vállalat már nem tartja magát a kezdeti értékeihez.
A Grok egy olyan generatív MI alapú chatbot, ami eltér az eddigi megoldásoktól. Egyelőre ezt a nagyközönség még nem tudja kipróbálni, csak egy szűkebb közönség tesztelheti. Most viszont az xAI bejelentette, hogy a továbbiakban már nyílt forráskóddal fejlesztik. A GitHubon elérhető a Grok-1 nevű modell, így kutatók és fejlesztők egyaránt elkezdhetik tanulmányozni. Azt is megtudhattuk, hogy a továbbiakban az LLM rendszer frissítéseire hatással lehetnek majd a külső forrásokból érkező visszajelzések.
A Grok-1 egy Mixture-of-Experts (MoE) architektúrát használó modell, ilyen lesz majd a Gemini 1.5 is. Ennek köszönhetően sokkal több paramétert lehet alkalmazni a generatív MI eszközök esetén. Lényegesen jobb hatékonyság érhető el, mert a megnövelt paraméterszám mellett nem kell drasztikusan nagyobb számítási kapacitással számolni. Ezáltal a költségeket is alacsonyabban lehet tartani. Az xAI elmondása alapján a Grok-1 314 milliárd paraméteres modell.
Elvileg egy teljesen nyers alapmodell lett publikus, ami a Grok-1 előzetes betanítási fázisából származik, még 2023 októberéből. Ez a modell ilyen formában még nincs semmilyen szinten finom hangolva például beszélgetésre, szóval nincs felkészítve arra, hogy chatbotként kiemelkedően hatékonyan lehessen alkalmazni ebben a formában. De más egyéb optimalizálást sem kapott elvileg. Azt sem lehet tudni, hogy az xAI milyen adatokon tréningezi az LLM rendszerét, mert erre vonatkozó adattal sem szolgál. Így a nyíltság azért egyáltalán nem tekinthető teljesnek.
Az xAI a betanítással kapcsolatosan csak annyit mondott el, hogy nagy mennyiségű szöveges információt használtak a tréningezése során. A különböző generatív MI modelleknél a tréningezés mindig egy érzékeny pont. Erre vonatkozó adatokat a cégek többnyire nem szoktak publikálni, és nagyon sokszor merül fel a gyanú, hogy igazából lopott információkat is felhasználnak. (Esetenként ezt bizonyítani is sikerül.)
Összeségében sokkal nem lettünk közelebb ahhoz, hogy a Grok mire lesz majd képes, de most nem is ez volt a vállalat célja. Korábbi információk szerint a Grok-1 modellt használó Grok chatbot a jövőben nemcsak, hogy egy érdekes beszélgetőpartnernek bizonyulhat majd, hanem munkára is be lehet majd fogni, például kódolásban elvileg jól teljesít, a GPT-4-hez hasonló szintet nyújt a korábbi tesztek alapján.
A mostani lépést egyébként jó eséllyel nem azért hozta meg az xAI, mert olyan nagyon szerették volna a nyitást, hanem Elon Musk dönthetett erről. Musk folyamatosan arról beszélt az utóbbi időben, hogy az OpenAI esetében komoly gondot jelent, hogy nem nyíltan működik, miközben a Grok-1 modellre sem volt rálátása a szélesebb közönségnek. Ez pedig kellemetlen helyzetet teremhetett volna Musk számára. Így inkább nyílt forrás felé indultak el, hogy ebből ne legyen gond. Sok olyan modell van már egyébként, ami valamilyen szinten nyílt, a Meta is részben vagy teljesen elérhetővé tette több fejlesztését.
