A Micron egy nagyon fontos fejlesztést készített az AI és HPC piac számára egy új HBM3E típusú memóriachip-szendvics formájában. Míg a rivális megoldások jellemzően 24 GB-os kapacitással rendelkeznek, és a Micron jelenlegi generációs termékei is ebbe a körbe tartoznak, addig a friss fejlesztés már 36 GB-os, azaz 50%-kal nagyobb kapacitással rendelkezik.
Ezt úgy érték el, hogy 8 helyett immár 12 darab HBM3E lapkát rejt a tokozás, ami több szempontból is előnyös. Egyrészt az extra memóriakapacitás jóvoltából nagyobb AI modellek is futhatnak egy adott processzor irányítása alatt, a fedélzeti memóriát használva, vagyis akár egy 70 milliárd paraméterrel rendelkező Llama2 modell is elfér, ami segít a GPU-k közötti kommunikáció késleltetéseinek csökkentésében, valamint a CPU-ra jutó terhelést is optimalizálja. A másik fontos előny az, hogy nőtt az energiahatékonyság, vagyis hiába tartalmaz 50%-kal több memóriakapacitást egy-egy HBM3E alapú memóriachip-szendvics, mégis kevesebbet fogyasztanak, mint a 8-Hi alapú, azaz 8 darab lapkát tartalmazó modellek, pedig ezek 12-Hi, azaz 12 lapkát tömörítő megoldások.
Az új memóriachipek jóvoltából chipenként 1,2 TB/s feletti memória-sávszélesség elérésére van mód, az adatátviteli sávszélesség pedig meghaladja a 9,2 Gbps-os szintet is. További érdekesség, hogy az új, 12-Hi felépítésű HBM3E memóriachipek tartamaznak MBIST funkciót is, ami lényegében egy programozható memória-öntesztelő rutin. Ezzel szimulálni lehet a rendszerszintű adatforgalmat, méghozzá teljes sebesség mellett, ami segít a tesztek gyorsabb és könnyebb elvégzésében, ezáltal gyorsabban lehet validálni az új rendszereket, ami segíti a gyorsabb piacra kerülést.
A Micron új HBM3E memóriachip-szendvicsei tökéletesen kompatibilisek a TSMC CoWoS chiptokozó technológiájával, amit az iparágban széles körben használnak manapság is, gondoljunk csak az Nvidia H100-as vagy éppen H200-as sorozatú gyorsítóira. Magukat a chipeket már szállítják is a Micron szakemberei a legfontosabb partnerek számára, akik elvégezhetik a szükséges teszteket, mielőtt termékeikbe építenék az újdonságokat.
Ezzel egy időben a háttérben már folyik a HBM4-es, illetve a HBM4E szabványú memóriachip-szendvicsek fejlesztése is, amelyek 1024-bit helyett immár 2048-bites memória-adatsínnel rendelkezhetnek. Az új fejlesztésekkel biztosíthatja a vállalat versenyképes pozícióját a piacon, valamint időben felkészülhet a következő generációs AI gyorsítók érkezésére is, amelyek már az új memóriachip-szendvicseket alkalmazhatják.
