A d-Matrix, egy memóriatechnológiákkal foglalkozó startup szakemberei egy rendkívül érdekes memóriatípus fejlesztettek ki, amit kifejezetten a mesterséges intelligenciával kapcsolatos munkafolyamatokhoz készítettek, azon belül is a dedukciós folyamatokhoz, amelyek igen-igen jelentős részt tesznek ki az AI alapú munkafolyamatokon belül. A 3DIMC névre keresztelt megoldás egy speciális chip, ami több lapkát is tartalmaz, ezek háromdimenziós rétegezés keretén belül kerülhetnek a tokozáson belülre. A 3DIMC, azaz a 3D digital In-Memory Compute technológia lényege, hogy a memóriához nagyon közel lehet levégezni a dedukciós feladatokat egy külön célhardver segítségével, ezáltal hatékonyabbá válik a munkavégzés, javul az energiahatékonyság, illetve a késleltetés is jelentősen alacsonyabb lesz.

A jelenlegi AI gyorsítók nagyrészt HBM (High-Bandwidth Memory) típusú memóriachip-szendvicseket alkalmaznak, amelyek több lapkából épülnek fel és meglehetősen nagy memória-sávszélességet kínálnak a GPU-k számára. A speciális felépítés miatt ez a memóriatechnológia kifejezetten drága, és a későbbi fejlesztések esetében még tovább növekedhetnek a költségek, miközben a memóriakapacitás és a memória-sávszélesség is növekszik. A d-Martrix csapata szerint van egy jobb megoldás a HBM helyett, ha dedukciós feladatokról van szó, ami akár tízszer nagyobb teljesítményt és akár tízszer jobb energiahatékonyságot tud felmutatni, azaz jelentős előnyöket kínál – legalábbis papíron.

A Pavehawk kódnévre keresztelt 3DIMC lapka alapját egy interposer adja, amire memórián belül dolgozó számítási hardver (digital-in memory compute) kerülhet, méghozzá LPDDR5-ös memórialapkák társaságában, az egész szett pedig egy egymásra tokozott lapkákból álló szendvics formájában készülhet el, ahol a DMIC chipletek az LPDDR5-ös memóriachipek tetejére kerülhetnek. A DMIC hardver ennek köszönhetően közvetlenül érheti el a memória tartalmát is közvetlenül végezhet el műveleteket rajta, ami rendkívül hatékonnyá teheti a munkavégzést. A DMIC lapkák olyan speciális vezérlők, amelyeket elsősorban mátrix-vektor szorzásra támaszkodó műveletek elvégzésére optimalizáltak, ugyanis ez az a számítási típus, amit a transformer alapú AI modelleknél használnak.

A vállalat vezetője, Sid Sheth úgy véli, az AI-hoz kapcsolódó dedukciós folyamatok esetében nemcsak a számítási teljesítmény jelenti a korlátot, hanem a memória-alrendszer is. Az AI modellek egyre nagyobbá válnak, gyorsan fejlődnek és növekszenek, a hagyományos HBM alapú memória-rendszerek pedig egyre drágábbá és egyre energiaigényesebbé válnak, miközben memória-sávszélesség terén korlátozottak. A 3DIMC segít a fejlődés hatékonyabb biztosításában, méghozzá úgy, hogy a memórialapkákat 3D tokozás formájában teszi elérhetővé és sokkal közelebb teszi a számítást végző hardverhez, mint a jelenlegi megoldások. Ezzel a módszerrel drámaian csökken a késleltetés, javul a memória-sávszélesség, illetve energiahatékonyság terén is új távlatok nyílnak.

A mérnökök jelenleg a Pavehawk névre keresztelt fejlesztést próbálgatják a d-Matrix műhelyében, de a háttérben már készül a következő generációs verzió is, ami Raptor néven válhat ismertté. A vállalat vezetője szerint az új fejlesztés szintén chipletes felépítéssel rendelkezik majd, és olyannyira ígéretesnek tűnik, hogy a HBM alapú megoldásokhoz képest akár tízszer nagyobb teljesítményt biztosít a dedukciós feladatokhoz, miközben 90%-kal alacsonyabb energiafelhasználás mellett üzemel.

A d-Matrix szerint a szóban forgó célhardvernek mindenképpen lehet létjogosultsága, ugyanis az AI munkafolyamatok között immár 50% körüli részesedéssel rendelkeznek a dedukciós feladatok, amelyekhez kiválóan passzol a vállalat fejlesztése, hiszen a dedukció merőben más munkafolyamat, mint a klasszikus tréningezés, így hatékonyabban végezhető, ha dedikált, kimondottan erre a feladatra optimalizált memóriatípussal szolgálják ki.

Az egyelőre kérdéses, hogy a d-Matrix fejlesztésére felfigyel-e a piac és sikerül-e kiszorítania a dedukciós munkafolyamatok szegmenséről a HBM alapú megoldásokat, az viszont mindenképpen üdvözlendő, hogy felbukkant egy újabb alternatíva, amivel nagyobb teljesítmény mellett, energiahatékonyabban ehet elvégezni bizonyos AI jellegű feladattípusokat, hiszen az AI adatközpontok fogyasztása egyre nagyobb kihívást jelent, ahogy egyre nagyobbá és nagyobbá válnak.