Az Nvidia jelenleg egyeduralkodónak mondható az AI és HPC piacra szánt gyorsítók szegmensében, és ez a helyzet egyelőre nem is igazán változik, de a háttérben már készülnek a riválisok következő generációs megoldásai, amelyekkel ki lehet majd fogni némi szelet az Nvidia vitorlájából. Úgy tűnik, a vállalatnak nem is igazán az Intel vagy az AMD következő generációs termékeitől kell majd tartania, hanem egy új startup, az Etched által kifejlesztett speciális ASIC chiptől, ami a Sohu nevet viseli, és amelynek fejlesztése még 2022-ben megindult, amikor a ChatGPT és a hozzá hasonló nagy nyelvi modellek még nem hódították meg a piacot.

A Sohu névre keresztelt gyorsító azzal hívta fel magára a figyelmet, hogy a mögötte álló fejlesztőcsapat azt állítja, a termék akár 20x gyorsabb lehet bizonyos feladatok elvégzésében, mint az Nvidia H100-as gyorsítója, amely iránt óriási a kereslet manapság, extraként pedig az új ASIC még olcsóbb és kevesebbet is fogyaszt, mint említett riválisa. Az Etched szakemberei szerint egy 8 darab Sohu gyorsítóból álló szerver a nagy nyelvi modellekkel kapcsolatos dedukciós feladatok gyorsításakor akkora teljesítményt kínál, mint egy 160 darab H100-as gyorsítóból álló szerver. Ez nemcsak költséghatékonyabb hardverbeszerzést jelent, de ezzel együtt sokkal energiahatékonyabb működést is, hiszen a 160 darab H100-as gyorsító helyét mindössze 8 darab Sohu gyorsító veheti át.

Az Etched fejlesztőcsapata szerint a kulcs az, hogy a jelenlegi AI gyorsítókat, legyen szó processzorokról vagy grafikus processzorokról, úgy tervezték meg anno, hogy kompatibilisek lehessenek a különböző AI architektúrákkal . A különböző keretrendszerekkel és dizájnokkal való kompatibilitás biztosítása érdekében az adott hardvernek számos AI modellt kell támogatnia, éppen ezért a jelenlegi AI gyorsítók jelentős részénél a számítási teljesítmény jelentős része a programozhatóságra megy el.

A legtöbb nagy nyelvi modell (LLM) esetében mátrixszorzás alapú műveleteket kell elvégezni a számítási feladatok teljesítéséhez, ebben a feladattípusban az Nvidia H100-as gyorsítója mindössze a teljes tranzisztorbüdzsé 3,3%-át használja, pedig kulcsfontosságú feladatról van szó. Ez azt jelenti, hogy a maradék 96,7%-nyi „lapkaterület” egyéb feladatokra van fenntartva, ami az általános célú AI gyorsító chipek szemszögéből nézve szükséges döntésnek bizonyulhatott, hiszen így biztosítható a széles körű kompatibilitás.

A bökkenő az, hogy jelenleg a transformer modell köré épülő megoldások a legnépszerűbbek, és az Etched által kifejlesztett Sohu ASIC pont erre a típusra koncentrál. 2022 környékén, amikor a ChatGPT még nem volt elérhető, a Sohu projektet úgy indították el, hogy a fő fókusz a transformer architektúrára korlátozódott, igaz, akkoriban még nem lehetett tudni, melyik modell lesz majd a befutó. A dolgok jelenlegi állása szerint úgy tűnik, az Etched fejlesztői „jó lóra tettek”, hiszen a ChatGPT mellett a Sora, a Gemini, a Stable Diffusion és a DALL-E is transformer model alapokra építkezik, vagyis hatékonyan tudja őket gyorsítani a Sohu ASIC.

A Sohu ASIC a fentiek alapján egy igencsak erős kihívója lehet majd az Nvidia Hopper és Blackwell alapú AI gyorsítóinak, már amennyiben a fentebb említett tranformer model alapú feladatvégzést kell gyorsítani. A Sohu igazából csak és kizárólag ebben jó, nem annyira sokoldalú, mint egy Nvidia H100 vagy B200, csak a transformer model gyorsítását tudja hatékonyan megoldani, abban viszont nagyságrendekkel jobb, mint az Nvidia megoldásai. Amennyiben csak azok a vállalatok térnek át a Sohu termékeire, akik a transofmer model alapú LLM-eket használják, már az is rendkívül komoly érvágás lehet az Nvidia számára.

Az adatközpontok üzemeltetői az új chip jóvoltából sokkal költség- és energiahatékonyabban végezhetik el az LLM-ek dedukciós feladatait, a chipek ráadásul olcsóbbak is lesznek, mint az Nvidia termékei, valamint sokkal kevesebbet is fogyasztanak, ami szintén lényeges szempont. A trónfosztás persze nem lesz egy egyszerű feladat, pont azért, mert a Sohu ASIC csak egy feladatra jó, de arra nagyon, míg az Nvidia gyorsítói sokkal sokoldalúbbak, illetve a CUDA ökoszisztéma is mellettük szól, amitől az Intel szerint ugyan szabadulna az iparág, de egyelőre még elég erősen rá vannak utalva, ez viszont már egy másik történet…