Az Nvidia több érdekes újdonságot is bejelentett a minap az SC23 alkalmával, egyebek mellett ismét előkerült a nyáron már bemutatott GH200-as gyorsító, de vele együtt egy H200-as sorozatú termék is debütált, ami a jelenlegi H100-as AI/HPC piaci gyorsítókártyához képest több és gyorsabb fedélzeti memóriát kapott. A vállalat ezzel egy időben egy olyan lapot is bemutatott, amelye nem kevesebb, mint négy darab GH200-as superchip foglal helyet. A GH200 korábbról persze már ismerős lehet.
A show sztárja egyértelműen a H200-as gyorsítókártya, amelynél a fedélzeti memóriával kapcsolatos változásokat emelték ki, a GPU pontos tulajdonságait egyelőre homály fedi, igaz, úgy tűnik, ezen a téren lényegi változás nem lesz, már ami a felépítést és a nyers számítási teljesítményt illeti. A H200-as gyorsító lényegében azért különleges, mert a szokásos 80 GB-nyi helyett 141 GB-nyi HBM3E fedélzeti memóriát tartalmaz, csak úgy, mint a GH200 kapcsán korábban bejelentett fejlesztés.
A 141 GB-nyi HBM3E fedélzeti memória igazából 144 GB lenne, de 3 GB-nyi kapacitást lekorlátoztak kihozatali aránnyal kapcsolatos megfontolásból, ezért a szokatlan memória-kapacitás. Maguk a chipek egyébként a szokásos 5120-bit helyett immár 6144-bites memória-adatsínre kapcsolódnak, és a szokásosnál gyorsabban is, ugyanis az 5,24 Gbps-os tempót itt már 6,5 Gbps körüli sebesség váltja fel. A memória-sávszélesség ennek megfelelően érezhetően növekszik, lényegében 3,35 TB/s-ról egészen 4,8 TB/s-ra katapultál, azaz 43%-kal emelkedik. A GPU számítási teljesítménye a jelek szerint nem változik.
Teljesítmény terén persze bőven lesz előrelépés, hála a több és nagyobb sávszélességű fedélzeti memóriának. A nagy nyelvi modelleknél (LLM-ek) az Nvidia belsős mérései szerint akár 18x-os gyorsulást is hozhat a H200 az A100-hoz képest, míg a H100-hoz képest nagyjából 11x lehet gyorsabb. A diagramon az érkező Blackwell B100-as gyorsító is szerepel, az oszlop teteje azonban homályba vész. Annyi azért látszik, hogy a B100 óriási gyorsulást hozhat a nagy nyelvi modellek esetében. Az Nvidia tervei szerint a H200 valamikor a 2024-es esztendő második negyedévében kerülhet forgalomba.
Szó esett még a HGX H200-as rendszerekről is, amelyek lényegében a H100 alapú modellek H200-as GPU-val ellátott verziói lesznek. A két széria közötti átjárás zökkenőmentes lesz, azaz a H100-as gyorsítókat könnyedén le lehet majd cserélni H200-asokra, amennyiben a felhasználói igények ezt szükségessé teszik. Nem kell módosítani az infrastruktúrán, illetve az üzemeltetési körülményeken sem, ami mindenképpen jó hír az iparági felhasználók számára. A HGX 200 fedélzetén nyolc darab SXM formátumú gyorsító foglal helyet, ahogy azt a H100 alapú HGX 100-nál már megszokhattuk.
Ennél egy fokkal érdekesebb újítás a Quad GH200, ami a Grace alapú processzorból és a Hopper alapú GPU-ból álló GH200-as lapkákból rögtön négyet is egy nyomtatott áramköri lapra zsúfol. Ezek az egylapkás gyorsítók aztán nagyobb rendszerek részeivé válhatnak. A nyomtatott áramköri lapon belül minden chip össze van kötve a többiekkel, ehhez négyutas NVlink topológiát vetnek be.
Egy-egy ilyen Quad GH200-as node esetében összesen 288 darab ARM alapú processzormag és 2,3 TB-nyi nagysebességű fedélzeti memória áll rendelkezésre. Itt még nem tesznek említést a HBM3-as verzióról, azaz első körben a HBM3 alapú termékek kaphatnak helyen a speciális lapkákon, vagyis egy Grace CPU 480 GB-nyi LPDDR5-ös fedélzeti memóriát kaphat, míg egy Hopper GPU számára 96 GB-nyi HBM3-as memória állhat rendelkezésre. Összesítve ez azt jelenti, hogy 1920 GB-nyi LPDDR5X és 384 GB-nyi HBM3-as memóriával gazdálkodhat a rendszer.
