A HBM, azaz a High-Bandwidth Memory szabvány kulcsfontosságú szerepet tölt be az AI és HPC piaci gyorsítók szegmensében, és természetesen folyamatosan fejlődik is. Jelenleg a HBM3E szabványnál tart a piac, de rövidesen a HBM4-es szabvány köré épülő termékek is debütálhatnak, egyes piaci szereplők már szállítják is a köré épülő memóriachip-szendvicseket partnereik számára, akik integrálhatják azokat következő generációs termékeikbe.

A KAIST, Dél-Korea vezető nemzeti kutatóintézete nemrégiben azt vázolta fel egy előrejelzés keretén belül, milyen fejlődésre lehet majd számítani HBM fronton egészen 2038-ig bezárólag. Azt fontos kiemelni, hogy ez csak egy előrejelzés, nem egy konkrét piaci szereplő útiterve, de hasonló előrejelzéseket egyéb neves kutatóintézetek is szoktak készíteni, amelyekről a későbbiekben sokszor kiderül abszolút nem voltak túlzóak – sokszor még túl is szárnyalja őket a piac. Hogy a HBM esetében is ez lesz-e a helyzet? Az elkövetkező évek folyamán egészen biztosan kiderül, addig viszont nézzük, mi mindenre számítanak a kutatók a HBM8 szabványig bezárólag.

A HBM memóriachip-szendvicsek kapacitása a HBM4-nél tapasztalható 288 GB és 348 GB közötti szintről egészen az 5120 GB és 6144 GB közötti szintig növekedhet a HBM8-as szabványig bezárólag, ám ezzel egy időben a fogyasztás is jelentősen emelkedni fog, méghozzá 75 W-ról egészen 180 W-ig. Ez utóbbi adat memóriachip-szendvicsenként, azaz HBM memóriachipenként értendő.

Memória-sávszélesség terén arra számíthatunk, hogy a HBM4 2 TB/s-os tempója 64 TB/s-ra emelkedik a HBM8 érkezésével, míg az adatátviteli ráta 8 GT/s-ről egészen 32 GT/s-re katapultál. Míg napjainkban 1024-bites memória-adatsínt használnak az egyes HBM3-as és HBM3E típusú memóriachip-szendvicsek, addig ez a HBM4 esetében 2048-bit lesz, a HBM8 pedig egészen 16384-bitig növeli ezt az értéket, ha valóra válik a kutatók előrejelzése.

A HBM4 után a HBM4E érkezik majd, ami az alap lapkák esetében testreszabhatóságot vezet be, amelynek köszönhetően még jobban illeszkedhetnek az AI és a HPC piac igényeihez, de a hálózati eszközökhöz is lehet majd optimalizálni őket. Ezek a képességek a HBM5 érkezésével megmaradnak, valamint kiegészülnek olyan extrákkal, mint a 3D Cache, illetve az egymásra rétegezett leválasztó kondenzátorok. A HBM5 esetében a memória-adatsín 4096-bitre növekedhet, a memória-sávszélesség 4 TB/s lesz, míg a memóriachip-szendvicsenként elérhető memóriakapacitás 80 GB-ra ugorhat.

Az egyes memóriachip-szendvicsek fogyasztása itt már 100 W magasságában helyezkedhet el, viszont továbbra is a Microbump, azaz az MR-RUF technológiát használják majd a lapkák esetében, pedig a piac már a HBM4-nél is próbálja feltérképezni a Direct Bonding technológiában rejlő lehetőségeket. A 2029-re várt HBM5 újításai között szerepelhet az LPDDR és a CXL csatolófelületek lapkaszintű támogatása, valamint beépített harmadszintű gyorsítótár és hőmérséklet-monitorozás is érkezhet. A HBM5-ös generációtól kezdve az AI eszközök már egyre nagyobb szerepet kaphatnak a chipek fizikai elrendezésének kialakításában, illetve a tervezés egyéb fázisaiban is.

A HBM6, ami 2032 folyamán jelenhet meg, tovább növeli a sebességet, így az adatátviteli ráta 16 GT/s szintnél tetőzik, a memóriachip-szendvicsenként elérhető memória-sávszélesség pedig 8 TB/s-ra emelkedhet. Egy-egy ilyen memóriachip-szendvics kapacitása 120 GB-nál tetőzhet, és a fogyasztásuk is emelkedni fog, várhatóan 120 W-ra. A HBM6-nál a Microbump technológia helyett immár a Direct Bonding jut szerephez, a hibrid interposer rétegeknél pedig a szilíciumot és az üveget kombinálhatják.

Architektúra terén a több toronyból álló memóriarétegek alkalmazása juthat szerephez, lesz belső Network Switching funkció, valamint a TSV-k felépítése is bonyolódik. Az AI eszközök még nagyobb szerephez jutnak majd a tervezés terén: generatív módszerekkel tervezhetik meg a jelátvitellel és a tápellátással kapcsolatos funkciók kiszolgálását.

A HBM7 és a HBM8 esetében tovább növekednek a sebességek és a sávszélességek, valamint a dizájn is bonyolultabb lesz. A HBM8 például már 32 GT/s szintű adatátviteli rátát alkalmazhat, az egy memóriachip-szendvicsre jutó memória-sávszélesség pedig 64 TB/s-nál tetőzhet. Itt már teljes 3D Stacking technológiát vethetnek be a chipeknél és kétoldalas interposerek teremtenek majd kapcsolatot köztük, amelyek még beépített folyadékcsatornával is rendelkezhetnek annak érdekében, hogy az egyre fokozódó hőtermelést kordában lehessen tartani. Az egy chipre jutó kapacitás itt már 240 GB lehet.

A HBM7 és a HBM8 esetében további extrém változások is várhatóak, például a HBM5-nél bevezetésre kerülő LPDDR5 és CXL interfészek, illetve az L3 Cache mellé kerülhet majd NAND Flash tárhely, illetve NAND Flash interfész is, ami lehetővé teszi majd, hogy a HBM lapkák felé minimális CPU, GPU, vagy ASIC terhelés mellett áramolhassanak adatok. Ez természetesen tovább növeli a fogyasztást, itt már 180 W-ra rúghat egy-egy memóriachip-szendvics TDP kerete. Az AI ennél a generációnál valós időben optimalizálhatja majd a hőtermelést, a fogyasztást, illetve a jelsávokat is annak érdekében, hogy a működés a lehető leghatékonyabb lehessen.

A fenti előrejelzés mindenképpen érdekes, de azt azért továbbra is érdemes szem előtt tartani, hogy nem konkrét útitervről van szó, ám az efféle „jövendölések” idővel önbeteljesítő jóslatként is helytállhatnak, méghozzá úgy, hogy azokat megpróbálják túlszárnyalni az iparági szereplők.