Hosszú ideig kellett várni arra, hogy az OpenAI nyílt súlyú modellel rukkoljon elő, de a GPT-OSS mostantól tényleg mindenki számára hozzáférhető, és remek lehetőségeket nyújt az érdeklődők számára. Akár még egy felsőkategóriás notebookon is el lehet majd futtatni a kisebb modellt, miközben persze online eléréssel és támogatással is igénybe vehető.
A GPT-OSS, illetve a nyílt súlyú (open weight) nagy nyelvi modell érkezésére már régóta számtani lehetett, Sam Altman többször beszélt erről a fejlesztésről, és az eredeti tervekhez képest sokat késett az újítás. Kettő verzióban vonul fel első körben a GPT-OSS, elérhető 117 milliárd paraméterrel és 21 milliárd paraméterrel is. A nagyobb, erősebb megoldás állítólag nagyjából az o4-mini nyelvi modell szintjét képes elérni, míg a szerényebb paraméterkészlettel gazdálkodó megoldás az o3-mini modellhez mérhető.
Büszkén beszélt arról az OpenAI, hogy ezeket a modelleket lehet használni offline, helyben futtatva, egyedi paraméterekkel a nyílt súlyú kialakításának hála, de azért a GPT-OSS 120B esetében nem éppen hétköznapi számítógép az elvárt a megfelelő futáshoz. Olyan Nvidia kártyát igényel ez, ami 80 GB-nyi videomemóriát vonultat fel (pl. az Nvidia H100), tehát egy speciális számítógéppel lehet alkalmazni lokálisan. A GPT-OSS 20B modellnél szerencsére már elegendő 16 GB VRAM is, ezáltal lesz futtatható még csúcskategóriás laptopokon is.
Transformer architektúrát használnak a modellek a Mixture-of-Experts (MoE) technológiával megtoldva, így tudták a fejlesztők a lehető legjobb hatékonyságot elérni. Az OpenAI kínálatában nagyon sok modell van már, és egyre többször alkalmazza a vállalat a MoE felépítést is. A GPT-OSS 120B-nél tokenenként 5,1 milliárd aktív paraméterrel lehet számolni, míg a kisebb modellnél ez 3,6 milliárd paraméter lehet. Az „expertek” száma 128, illetve 32, de a felhasználók szempontjából ez kevésbé releváns információ.
A GPT-OSS elsősorban független fejlesztőknek szól, akik egyedi ötleteikhez, újításaikhoz alkalmazhatják a modelleket. Ezekkel offline formában jobb adatvédelem, biztonság érhető el, mint a felhős környezetben futtatott mesterséges intelligencia eszközökkel.
Mind a kettő nyelvi modellről elmondható, hogy 128 ezer tokenes kontextusablakkal dolgoznak, ami nem sok, de általánosabb felhasználási célokra tökéletesen elegendő. Az OpenAI riválisainál már lehet látni sokkal nagyobb kontexusablakokkal üzemelő, nyílt modelleket is, de ez nem meglepő. Általánosan elmondható az OpenAI fejlesztéseiről, hogy ebből a szempontból valamelyest korlátoltabbak.
Noha sokáig kellett várni a GPT-OSS modellre, egyértelműen megérte az alapján, hogy milyen teljesítményre képes. A Humanity’s Last Exam tesztben, amiben korábban a 10%-os határ átlépése is nagy szónak számított, még a 20 milliárd paraméteres GPT-OSS alap kivitele is 10,9%-ot ért el, felkészítve pedig 17,3%-ot produkált, míg a GPT-OSS 120B pedig 19%-ot is tudott villantani.
Nagyon sok lehetőséget biztosít majd az OpenAI a GPT-OSS révén, ez akár még mobilos környezetben is felbukkanhat. A GPT-OSS 20B az OpenAI és a Qualcomm együttműködésének eredményeként Snapdragon lapkát használó környezetben is megjelenhet majd, méghozzá offline működéssel.
