A Micron egy fontos mérföldkőhöz ért az AI adatközpontokba szánt SOCAMM memóriamodulok szegmensében, elkészítette az iparág első 256 GB-os SOCAMM2 típusú memóriamodulját, amelynek köszönhetően a korábbi csúcstartóhoz, a 192 GB-os modulhoz képest jelentősen nőhet az egyes rendszerek memóriakapacitása. A mindössze hat hónappal ezelőtt bemutatott 192 GB-os modul megjelenése is komoly fegyvertény volt mind kapacitás, mind teljesítmény, mind pedig energiahatékonyság terén, a friss fejlesztéssel viszont még magasabbra helyezi a lécet a gyártó. A 256 GB-os SOCAMM2 memóriamodulok szállítását már meg is kezdték, így az AI szerverek rövidesen profitálhatnak az általa kínált előnyökből.
A 256 GB-os modulkapacitás jóvoltából egy processzor mellé immár 2 TB-nyi rendszermemória is társulhat, ami praktikusan azt jelenti, hogy egy NVL72-es Nvidia rackszekrényben a 36 darab processzor mellé összesen 72 TB-nyi rendszermemória társulhat, ezáltal jelentősen kibővül a lehetőségek tárháza. Az új SOCAMM2 memóriamodul egy jókora előrelépésnek tekinthető, gyakorlatilag 33%-kal magasabb memóriakapacitást kínál a nagyobb memóriasűrűség révén, mint a korábbi „csúcstartó”, ezzel egy időben pedig akár 66%-kal jobb energiahatékonysággal is üzemelhet, mit a klasszikus RDIMM típusú memóriamodulok.
További előny, hogy a 256 GB-os SOCAMM2 memóriamodul az egyre inkább terjedő folyadékhűtő rendszerekkel is tökéletesen kompatibilis, ami azért jó hír, mert a teljesítmény és a TDP keret növekedése miatt a hatékony hűtés megoldása egyre nagyobb kihívást jelent, amit leginkább folyadékhűtéssel lehet leküzdeni. A SOCAMM memóriaszabványt életre hívó Nvidia csapata egyébként pont ezen a téren ütközött falakba anno, egyszerűen nem tudták hatékonyan lehűteni a szóban forgó memóriamodulokat a nagysűrűségű szerverekben, éppen ezért együttműködésbe léptek a nagy memóriagyártókkal, akik segítő jobbot nyújtva a helyes irányba terelték a munkát. Lényegében így jöhetett létre a SOCAMM2 szabvány, amelynek moduljai egyre ütőképesebbé válnak.
Az új SOCAMM2 memóriamodulok fedélzetén a Micron legújabb fejlesztésű LPDDR5X memórialapkái találhatóak, amelyek egyenként 32 Gb-es, azaz 4 GB-os kapacitással rendelkeznek. Ezek monolitikus lapkák, ami azt jelenti, hogy a memóriacellák, illetve az azokat kiszolgáló áramköri elemek ugyanazon a szilíciumlapkán foglalnak helyet.
Az energiahatékonyság és a nagyobb memóriakapacitás mellett fontos szempont az is, hogy az új memóriamodulok jóvoltából jelentősen növelhető az AI szerverek teljesítménye, illetve képességeik is fokozhatóak. A nagyobb memóriakapacitás segítségével egyetlen processzor használata mellett most már sokkal nagyobb kontextusablakok nyílhatnak az AI modellek fejlesztésekor, ami segíti a munka hatékonyságának növelését. Ez az előrelépés abban is segít, hogy az első token létrehozásához szükséges idő (TTFT – Time to First Token) jelentősen csökkenjen, ezáltal hamarabb érkezhetnek válaszok például a chatbotoknak feltett kérdésekre, illetve egyéb feladatok is gyorsabban elkészülhetnek.
Az AI szegmensben, ahol jelenleg óriási a pezsgés, nemcsak az fontos, hogy az AI gyorsítók és az őket kiszolgáló processzorok a lehető leggyorsabbak legyenek, hanem az is, hogy az adatkészleteket kellően gyors tárhelyek, illetve a feldolgozóegységekhez minél közelebb elhelyezkedő, minél gyorsabb memória szolgálja ki. A Micron jóvoltából rendszermemória terén jelentős előrelépés történik, ami segít fenntartani a fejlődés ütemét és segít kibővíteni a lehetőségek tárházát is.
