A következő generációs HBM memóriachip-szendvicsek fejlesztése érdekes irányba indult el, ami igazából már sejthető volt az előzmények alapján: az iparági szereplők azon kezdtek el dolgozni, hogy a HBM memórialapkákat tartalmazó tokozás alap lapkájára, ami az I/O részleggel történő kommunikációt segíti, GPU magokat is integráljanak.
Az efféle egyedi HBM memóriachip-szendvicsek számos előnyt tartogatnak, ugyanakkor számos műszaki kihívás leküzdését is igénylik, mielőtt szélesebb körben is biztonságosan és hatékonyan be lehet vetni őket. Az egyedi HBM memóriákon egyebek mellett a Meta és az Nvidia is dolgozik, de a koncepció kidolgozásába a hírek szerint két nagy memóriagyártó, az SK hynix és a Samsung csapatát is bevonták. Érdekesség, hogy a Samsung a HBM-PIM formájában 2021 folyamán már bejelentett számítási feladatok elvégzésére képes vezérlővel rendelkező HBM memóriachip-szendvicseket, ezekről ebben a hírben írtunk.
Egy-egy HBM memóriachip szendvics normál esetben egy alap lapkát tartalmaz, ami fölött több memórialapka-réteg is helyet kapott, ezek között pedig függőleges összekötők, úgynevezett TSV-k (Through-silicon-Vias) teremtenek kapcsolatot. Arról már korábban is szó esett, hogy a következő generációs HBM memóriachip-szendvicsek tokozásán belül, a módosítható alap lapka révén rendhagyó funkcionalitás is helyet kaphat annak érdekében, hogy az egyes adatokkal kapcsolatos műveletek a memóriához közel, a megszokotthoz képest sokkal alacsonyabb késleltetéssel legyenek elvégezhetőek. Ez a koncepció egyrészt segít a teljesítmény növelésében, másrészt pedig az energiahatékonyságot is emeli, már csak azáltal is, hogy az adatoknak kevesebbszer kell a GPU és a memória között keringeniük, ezáltal felszabadulhat némi memória-sávszélesség, valamint a GPU értékes erőforrásait is lehet másra használni közben.
Noha a koncepció nagyon jól hangzik és tényleg rengeteg pozitívumot tartogat, sajnos számos kihívás leküzdését is igényli. Az egyik kihívás, hogy a TSV-k, amelyek az alap lapkából indulnak ki a memórialapka-rétegek felé, elég sok értékes helyet foglalnak el, ezért kevés hely mard az extra funkciók integrálására, ami behatárolja a lehetőségeket is. További probléma, hogy a memóriachip-szendvicsek esetében az extra funkcionalitás, azaz a számítási teljesítmény integrálása nagyobb áramfelvételt eredményez, így a megfelelő tápellátásról is gondoskodni kell, ami a kis terület miatt szintén kihívást jelent. A beágyazott GPU magok persze nemcsak extra számítási teljesítményt hoznak, hanem extra hőtermelést is, amit szintén kordában kell tartani, és ami szintén nehézséget okoz, megoldást kell találni rá.
A KAIST Villamosmérnöki Karának professzora, Kim Joung-ho úgy látja, az AI-lát diktálta fejlődési tempó a jövőben tovább gyorsul majd, ennek keretén belül a memória, illetve a rendszerben található egyéb félvezetők közötti határ leomlása is bekövetkezik, ezzel elősegítve a teljesítmény további növelését. A siker érdekében a hazai vállalatoknak ki kell terjeszteniük ökoszisztémájukat a memórián túli területekre is, így lehetnek versenyképesek a következő generációs HBM piacon.
A HBM4 esetében már látszik, hogy a vállalatok eltérő stratégia szerint próbálnak érvényesülni. Az AMD például az MI430X formájában a következő generációs CDNA architektúrában rejlő lehetőségeket próbálja majd kamatoztatni, ahol a GPU mellé 432 GB-nyi HBM4-es fedélzeti memóriát integrálnak, ezzel 19,6 TB/s-os memória-sávszélesség elérésére nyílik lehetőség. Ezzel egy időben az Nvidia a Vera Rubin Superchip keretén belül speciális felépítést alkalmaz majd, amelynél egy-egy Rubin GPU belsejében két chiplet kap helyet, ilyen GPU-ból pedig kettő található egy Superchip fedélzetén, azaz 2 x 288 GB-nyi HBM 4-es fedélzeti memória elérésére nyílik lehetőség, a teljes memóriakapacitás tehát 576 GB lesz.
A fenti változásokból azok a cégek, amelyek erős képességekkel rendelkeznek mind tokozási technológiák, mind pedig logikai áramkörök terén, profitálni fognak, míg azoknak a cégeknek, amelyek csak a memórialapkákat és a memóriachip-szendvicseket fejlesztik, nyitniuk kell a rendszerszintű félvezető-technológiák irányába annak érdekében, hogy versenyképesek lehessenek. Ilyen nyitási lehetőség az, ha a HBM memóriachip-szendvicsek fedélzetére extra komponenseket helyeznek, amelyekkel memória-közeli adatfeldolgozásra nyílik mód.
