A Granite Rapids mellett egy másik nagyon fontos fejlesztés a Gaudi 3 is bemutatkozott az Intel háza táján, amivel kapcsolatban korábban már kiderült ez-az, most azonban minden fontos és lényeges részletet tálaltak, sőt, igazából arra is fény derült, hogy az új AI gyorsító milyen teljesítményre képes a piacvezető Nvidia megoldásaival szemben.
A Gaudi 3 alapját két darab chiplet adja, ezek egyenként 64 Tensor processzormaggal rendelkeznek, amelyekhez 8 darab 256-bit széles MME (Matrix-Multiplication Engine) társul, a gyorsítótár szerepét pedig 96 MB-nyi SRAM tölti be, méghozzá 19,2 TB/s-os sávszélességgel üzemelve. Van még a fedélzeten 14 médiamotor is, amelyek a VP9-es, a H.264-es, a H.265-ös, illetve a JPEG tartalmak feldolgozását egyaránt támogatják. A processzor tartalmaz továbbá 24 darab 200 GbE hálózati interfészt is. Fedélzeti memóriából 128 GB-nyi jár, ez HBM2E típusú lapkákból tevődik össze, szám szerint nyolcból, így a teljes memória-sávszélesség 3,67 TB/s-os értéket képviselhet.
A fentiek jól szemléltetik, mennyire nagy előrelépés a Gaudi 3 a Gaudi 2-höz képest, utóbbi ugyanis még csak 24 Tensor processzormaggal, 2 MME motorral, valamint 96 GB-nyi HBM2E típusú fedélzeti memóriával rendelkezett. Történt némi változás a TPC és az MME motorok funkcionalitását illetően is, azaz most már csak FP8-as és BFLoat16-os műveletek támogatása áll rendelkezésre, vagyis az FP16, a T32 és az FP32 típusú számítási feladatokat a jelek szerint nem támogatja a gyorsító.
A nyers számítási teljesítmény alapján a Gaudi 3 lassabb, mint az Nvidia H100-as gyorsítója, hiszen 1856 TFLOP/s-os számít-si teljesítményre képes BF16/FP8 mátrix műveletek terén, míg BF16-os vektorműveletek esetén 28,7 TFLOP/s-os számítási teljesítmény elérésére van mód. Ezek a számok alacsonyabbak, mint amire az Nvidia H100 képes, hiszen a rivális gyorsító BF16 mátrix teljesítménye 1979 TFLOP/s-os értéket képvisel, míg az FP8-as mátrix teljesítmény már 3958 TFLOP/s-os szinten helyezkedik el, a BF16 vektorteljesítmény pedig 1979 TFLOP/s. A BF16 mátrix teljesítmény picivel alacsonyabb csak, míg az FP8 mátrix teljesítmény csak kevesebb, mint fele a H100-énak, a BF16 vektorteljesítmény pedig lényegesen kisebb a riváliséhoz képest.
Noha a számítási teljesítménnyel kapcsolatos adatok nem valami szépek, az élesben felmutatott teljesítmény már egy összetettebb témakör, ahol a hardver nyers teljesítménye mellett sokat számítanak a driverek, illetve a szoftveres optimalizációk. A gyártói mérések szerint az LLaMa 3 8B típusú nagy nyelvi modell alatt a dedukciós teljesítmény 9%-kal magasabb lesz Gaudi 3 mellett, mint a H100-zal, míg a teljesítmény/ár arány 1,8x-os lesz az Intel javára. A LLaMa 2 70B teszt esetében már 19%-os teljesítmény-előny mutatkozott az Intel javára, ugyancsak a dedukció esetében, míg a teljesítmény/ár hányados 2x jobbnak ígérkezik a H100-hoz képest.
A korábbi számok szerint az Intel Gaudi 3-as gyorsítóiból nyolcat tartalmazó alaplap 125 000 dollárba kerül, ami azt jelenti, hogy 15625 dollárt kóstálhat egy lapka. Ehhez képest az Nvidia H100-as gyorsítója 30 678 dollárba kerül, vagyis lényegesen drágább. Noha a H100-hoz képest versenyképesnek tűnik az Intel újítása bizonyos területeken, az összkép egyelőre kérdéses, valamint az is, hogy az érkező B100-as és B200-as gyorsítók ellen mire lesz képes a Gaudi 3 a valóságban mind teljesítmény, mind pedig teljesítmény/ár hányados terén.
A Gaudi 3-as gyorsítók rövidesen elérhetőek lesznek az Intel partnereinek kínálatában, természetesen a frissen bemutatott Xeon 6-os processzorokkal karöltve. Az első rendszerek már október folyamán forgalomba kerülhetnek.
