Az Nvidia és az Amazon égisze alatt futó AWS (Amazon Web Services) stratégiai együttműködésbe lépett, amelynek köszönhetően az Nvidia különböző, kifejezetten adatközpontokba szánt hardverei az AWS keretén belül is elérhetőek lesznek, méghozzá az Nvidia speciális szoftvereivel karöltve. A felek több nagy projekten is együttműködnek, amelyek közül a legnagyobb talán a Ceiba lesz.
A Projekt Ceiba keretén belül az AWS és az Nvidia szakemberei egy igencsak impozáns, kifejezetten AI feladatokra szánt szuperszámítógép-fürtöt szeretnének építeni, ami a tervek szerint a leggyorsabb lesz a maga nemében és kizárólag az Nvidia számára lesz elérhető. A GPU gyorsítással dolgozó AI szuperszámítógép-fürtök szegmensében bajnoknak ígérkező Project Ceiba várhatóan 65 „AI ExaFLOP/s-os” maximális számítási teljesítményt nyújt majd, elsődleges szerepe pedig az lesz, hogy segítse az Nvidia generatív AI-hoz kapcsolódó kutatási és fejlesztési munkáit. A speciális szuperszámítógép-fürt összesen 16 384 darab Nvidia GH200-as Superchipből áll, ennek építőkövei a GH200 NVL32-es rendszerek lesznek, amelyek egyenként 32 darab GH200-as GPU-val, valamint 19,5 TB-nyi egységes memóriakapacitással rendelkeznek.
Fontos összetevője az együttműködésnek az Nvidia DGX Cloud is, ami az AWS keretén belül lesz elérhető. Ez lényegében egy AI tréningező platform, amely szolgáltatás formájában érhető el, és egyben ez lesz az első olyan kereskedelmi céllal elérhető virtuális gép is, ami a GH200 NVL32-es rendszert használhatja a maga 19,5 TB-nyi egységes memóriájával karöltve.
Ez a platform a fejlesztők számára nemcsak a magas számítási teljesítmény miatt lehet vonzó, hanem azért is, mert ennek keretében érhető el a legnagyobb egységes memóriaterület egyetlen virtuális gép formájában. A platform kedvező tulajdonságainak köszönhetően jelentős mértékben gyorsíthatja a fejlett generatív AI és a nagy nyelvi modellek tréningezését – akár 1 billiónál is több paraméterrel rendelkező neurális hálózat kezelésére is képes lesz.
Az AWS gyakorlatilag elsőként kínálhat olyan felhő alapú AI szuperszámítógép-fürtöt, amelynek fedélzetén az Nvidia GH200-as Grace Hopper Superchipek dolgoznak. Az egyedi konfiguráció összesen 32 darab Grace Hopper Superchipet tesz elérhetővé virtuális gépenként, ezek között NVLink alapú kapcsolat húzódik majd. A rendszer akár több ezer GH200-as Superchipet is összefoghat, amelyek között az Amazon EFA hálózata teremt kapcsolatot.
Az együttműködés további sarokköve, hogy az Amazon EC2-es virtuális gépek mögött immár H200-as Tensor Core GPU-k is helyet foglalhatnak, méghozzá 141 GB-nyi HBM3e típusú fedélzeti memóriával felvértezve, így új lehetőségek nyílnak az AI és HPC piaci terhelésformák használói előtt. Készülnek még G6, valamint G6e típusú virtuális gépek is, amelyek már az Nvidia L4, illetve az Nvidia L40S típusú gyorsítókat használják. Ezek a gyorsítók az AI finomhangolása mellett akár 3D-s munkafolyamatokban is segédkezhetnek, valamint az Nvidia Omniverse-ben rejlő lehetőségeket is kamatoztathatják, így AI támogatással rendelkező 3D alkalmazások készülhetnek velük.
A hardverek mellett a szoftverek is komoly szerepet kapnak az együttműködés során, ennek köszönhetően jelentősen gyorsíthatóak a különböző feladatok, legyen szó generatív AI-ról, vagy éppen nagy nyelvi modellekről (LLM-ek). Ezeket a NeMo LLM keretrendszer, valamint a NeMo Retriever egyaránt segíti: e két szoftverrel chatbotok és összegző eszközök készülhetnek. Jelen lesz még a kínálatban a BioNeMo is, ami viszont már a gyógyszeriparban jut szerephez, segítve a különböző hatóanyagokkal kapcsolatos kutatások felgyorsítását.
