Az OpenAI folyamatosan dolgozik azon, hogy a nyelvi modelljeit a lehető legjobb konfigurációkban tudja kínálni a partnerei számára. Májusban leplezte le a vállalat a GPT-4o (omni) modelljét, ami több szempontból is szignifikáns fejlődést hozott, azonban mivel elég nagy lett, nem lehet bárhol bevetni, és elég költséget is. De már erre is lesz megoldás.
Megalkotta az OpenAI a GPT-4o mini modellt, ami jóval kisebb méretet öltött, és sokkal olcsóbban lesz üzemeltethető.
A kompakt méretnek köszönhetően a GPT-4o mini több helyen lesz felhasználható, miközben a különböző tesztekben is remekel – persze nem is hozza a GPT-4o teljesítményét, de erre sokszor nincs is szükség. Más fejlesztők által létrehozott kicsi nyelvi modellekhez képest jobban fog teljesíteni az újdonság. Az OpenAI szerint ez lesz a piacvezető eszköz szöveges és vizuális feladatokban egyaránt, ha kicsi méretről beszélünk.
A folyamatos gyors fejlődésnek köszönhetően a kisebb modelleket egyre többen használják fel olyan feladatokra is, amit korábban még a legfejlettebb LLM rendszerekre bíztak. A Gemini, a Claude és a Llama modellek számára is kemény ellenfél lehet az új GPT-4o mini, de még házon belül is elveheti a munkát a nagyobb GPT modellektől. Rengeteg olyan feladatra használnak nagyobb modelleket, amiket az új GPT-4o mini már csaknem ugyanolyan pontossággal lesz képes megoldani, miközben sokkal olcsóbb is.
A GPT-4o mini kompromisszum nélkül képes lesz kiváltani a GPT-3.5 Turbót – jelentette ki az OpenAI.
Egészen eddig a Gemini 1.5 Flash és a Claude 3 Haiku úgy tudott érvényesülni, hogy az OpenAI nem biztosított valódi ellenfelet számukra, a GPT-4o mini azonban teljesen átszabja az eddigi képet. Nemcsak, hogy olcsóbban üzemeltethető az újdonság az említett ellenfeleknél, de elvileg még jobb is lesz azoknál. Az MMLU teszten például jobb eredményt (82%) tudott elérni az említett modelleknél (Gemini 1.5 Flash - 78,9%, Claude 3 Haiku - 75,2%), sőt mi több, hozta a Meta által fejlesztett és lényegesen nagyobb Llama 3 szintjét is.
A jó teljesítmény mellett pedig azt is látni kell, hogy a GPT-4o mini tényleg nagyon olcsó. A Claude és a Gemini kompakt modelljei esetén 1 millió token vegyes feldolgozása nagyjából 0,5-0,55 dollár között alakul átlagosan az MMLU teszt során, míg az újdonság ezt hozzávetőlegesen 0,25 dollárból oldja meg az Artificial Analysis elemzése szerint. A hivatalos adat alapján 1 millió token kezelése 0,15 dollár bementi adatoknál, és 0,6 dollár a kimenetnél, miközben a GPT-4o 2,5 és 5 dollár közötti összegek mellett tud 1 millió tokent feldolgozni ki- és bemenetnél.
A GPT-4o mini 128 ezres kontextusablakkal dolgozik, ami ugyancsak egy remek hír, hiszen a teljesértékű GPT-4o esetében is így van ez – a GPT-3.5 Turbo csak 16 ezres kontextusablakot nyújtott. A friss fejlesztés sokkal kisebb számítási kapacitást fog igényelni a munka során, és bizony ma már ez sem egy elhanyagolható szempont. Mondhatni fenntarthatóbb ez a modell, mint a GPT-4o használata, és sok más modellnél is jobb ebből a szempontból is.
Szöveges és képi tartalmakat egyaránt tud kezelni a GPT-4o mini, és már dolgoznak azon, hogy a hanganyagokkal és a videókkal is boldogulni tudjon. A cég elmondása alapján az a cél, hogy teljesen multimodális működést tudjanak elérni. Egyszerű feladatokra szolgál majd az új modell, és tökéletesen alkalmas lehet arra, hogy például okostelefonokon a helyben futtatott funkciókat kiszolgálja.
A GPT-4o azonnal hozzáférhetővé vált, mikor lerántották róla a leplet. Nos, ebben az esetben sincs ez másként. A GPT-4o mini mindenki számára hozzáférhetővé vált, napokon belül a vállalati előfizetők is munkára foghatják. Fontos azt is hozzátenni, hogy a GPT-3.5 Turbo helyét átveszi, így a GPT-3.5 lényegében nyugdíjba lesz küldve. Persze nem veszik el a fejlesztőktől annak a lehetőségét, hogy kitartsanak a régebbi modell mellett, de mindenkit az új megoldások felé fog terelni az OpenAI.
