A Micron mérnökei egy különleges memória-technológia fejlesztésén dolgoznak, amelynek célja az, hogy az AI gyorsítóként működő GPU közelébe egy viszonylag nagy adattároló kapacitású, kellően gyors, kellően alacsony késleltetést biztosító NAND Flash memóriachip-tömböt helyezhessenek, ezáltal jelentősen kitolva a kifejezetten nagy LLM-ek futtatásával és tréningezésével kapcsolatos lehetőségeket.
Az egyelőre csak „Near-GPU NAND” munkanév alatt futó projekt lényegében egy hasznos kiegészítőként érkezik a HBM és a DRAM alapú fő memória és a klasszikus NAND Flash alapú adattároló rendszerek mellé, illetve ezek közé. Azokban az esetekben jöhet jól, amikor nincs szükség a HBM vagy a normál DRAM chipek magas adatátviteli sávszélességére vagy az általuk kínált alacsony késleltetésre, de a klasszikus NAND Flash adattároló rendszerek nyújtotta lehetőségekhez képest sokkal szorosabban kell elhelyezni az adatokat a GPU-hoz.
A siker érdekében speciális NAND Flash memóriachipeket fejlesztenek, amelyek mind adatsűrűség, mind pedig késleltetés terén egyfajta köztes réteget kínálnak az említett memóriatechnológiák között. Ezek a memóriachipek kisebb adatsűrűséggel rendelkeznek majd, mint a klasszikus TLC vagy QLC NAND Flash lapkák, hiszen az adatsűrűség helyett inkább a magasabb I/O teljesítményre, a magasabb adatátviteli sávszélességre, illetve a jobb olvasási időre koncentrálnak. A „Near-GPU NAND” lényegében egy szupergyors, nagy teljesítményt biztosító gyorsítótárként teremt hidat a klasszikus HBM vagy a GDDR7/LPDDR6 memóriachipek és a normál adattároló rendszer között.
Ezt a gyorsítótárat kiválóan lehet használni dedukciós feladatokra, illetve konkrét nagy nyelvi modellek futtatására is, miközben az adatokat gazdaságosabban lehet a GPU-hoz közel tartani, mintha klasszikus DRAM vagy HBM memória-technológiát használtak volna a cél eléréséhez. A szóban forgó gyorsítótár néhányszor 100 GB-nyi kapacitást kínálhat, mindezt sokkal olcsóbban teheti, mint a klasszikus DRAM technológiák, valamint jobb teljesítményt is kínálhat, mint a klasszikus NAND Flash alapú adattároló rendszerek. A speciális gyorsítótár révén kevesebb GPU-val rendelkező rendszereken is elketyetnének a bonyolult LLM-ek, hála a több memória- és adattároló-szint alkalmazásának, ami összességében segítené a rendszer teljesítményének optimalizálását.
Hasonló fejlesztés a SanDisk és az SK hynix műhelyében is készül HBF, azaz High-Bandwidth Flash néven, ami a GPU HBM memóriaterületének kibővítését segítené azzal, hogy a GPU-hoz közel elhelyezett NAND Flash chipeket használnának és ezek strapabíróságát is növelnék. A munka jelenleg is tart, hiszen egy olyan megoldással kell előrukkolni, ami megfelelő adatátviteli sávszélességet és késleltetést kínál, miközben kellően strapabíró is, ezáltal hatékonyan kiegészítheti a szupergyors és szuperdrága HBM memóriachip-szendvicseket, amelyekből egyébként nem is készül annyi, amennyire a piacnak igénye lenne. Ezzel egy időben a Samsung sem tétlenkedik, zNAND-O névvel speciális memória-architektúrát fejleszt, ugyancsak AI-célokra, meglehetősen impozáns tulajdonságokkal felvértezve.
