A Meta folyamatosan azon van, hogy tartsa a lépést az OpenAI, a Google, az Anthropic és más cégek fejlesztéseivel. S Llama 4 nyelvi modell pedig a cég elmondása szerint sok tesztben, helyzetben az élen járhat. A Meta AI keretében már lehet is csevegni az új rendszerrel, kettő verziójában lett elérhető, de több változat is készül.
Ahogy azt az utóbbi időben már megszokhattuk, a méreteikben különböznek a nyelvi modellek elsődlegesen, persze emiatt a lehetőségeket is szűkebbek például a kisebb modellek esetén. A Llama 4 égisze alatt a leginkább kompakt modell a Scout jelzőt kapta, ennek kapcsán arról beszélt a cég, hogy egyetlen Nvidia H100 grafikus egységgel már gördülékenyen lehet használni.
Nagyon érdekes, hogy ez a kompakt Llama 4 Scout hatalmas kontextusablakkal dolgozik, 10 millió tokent képes kezelni egy beszélgetésben.
Eddig a kontextusablakokban általában a Google járt az élen, most a Meta úgy döntött, hogy ideje ezen változtatni. Képek sokaságát és több millió szavas szövegeket tud majd kezelni az újdonság. Extrém hosszúságú dokumentumokkal is megbirkózik majd az ígéret szerint.
A Llama 4 Maverick már a GPT-4o és a Gemini 2.0 ellenfeléül szolgálhat, ez már egy sokoldalú, nagyon intelligens modell, ami multimodális formában is jól használható. Viszont még így is sokkal kisebb a Meta elmondása alapján, mint néhány egyenrangú ellenfele, példaként említik itt a DeepSeek-V3-at, amihez képest fele annyi aktív paraméterrel dolgozik, mégis ugyanolyan jó érvelésben és programozásban. Ennek a futtatása helyben egy Nvidia H100 DGX rendszert igényel.
A fenti kettő nyelvi modell már készen van és kipróbálható, viszont ez még nem minden. A Meta harmadik fejlesztése a Llama 4 nyelvi modell családban a Behemoth névre hallgat. Ennek még folyamatban van a tréningezése, ez lényegesen hosszadalmas folyamatot vesz igénybe, és hatalmas számítási kapacitásokat képes felemészteni a működése során. Mark Zuckerberg nagyon büszke a Llama 4 Behemoth modellre, és meglehetősen merész kijelentést tett ennek kapcsán.
„A legnagyobb teljesítményét nyújtó alapmodell a világon” – hangsúlyozta Zuckerberg.
A Meta a Mixture-of-Experts (MoE) technikát használja az új modelleknél, és ezt a Behemoth esetében járatja csúcsra. Ez a nagy nyelvi modell már egyszerre 288 millió aktív paraméterrel dolgozhat, 16 expertet vonultat fel, és összesen 2 billió paraméterrel rendelkezik. Azt állítja a Meta, hogy a matematikai, természettudományi, műszaki és informatikai területeken képes ezzel a modellel legyűrni a GPT-4.5, a Claude 3.7 Sonnet és a Gemini 2.0 Pro modelleket.
A vállalat elmondása szerint a Llama 4 használata mellett már sokkal kevesebb esetben fogja a generatív MI megtagadni a válaszadást. Kiegyensúlyozottabban működik majd a rendszer. A Maverick kapcsán kiemelte a cég, hogy a LM Arena keretében a második helyre ért fel, ami szép teljesítmény. Viszont ennek kapcsán kiderült később a közösség révén, hogy a Meta csalhatott. A jelek szerint a cég a Maverick egy variánsát optimalizálta arra, hogy az LM Arena esetén jobban teljesítsen, így tudta azt elérni, hogy a Grok-3-at és a GPT-4o-t is megelőzze, csak a Gemini 2.5 Prót nem tudta legyűrni.
Eddig nem igazán volt jellemző az, hogy az LM Arena keretei között csaltak volna a cégek, ez az első eset, ahol erre ilyen gyorsan fény derült. Bár ez nem a legjobb tesztprogram, de nagyon sokan kedvelik, szeretik ezt használni. A Meta is látta, hogy nagyon sokan kezdik az LM Arena pontok alapján megítélni a nyelvi modelleket, ezért gondolhatta úgy, hogy jó ötlet lehet egy kicsit fentebb segíteni a Llama 4 Maverick modellt.
