AZ AI MUNKAFOLYAMATOKAT FUTTATÓ HARDVEREK ANNYI ÁRAMOT HASZNÁLNAK FEL, MINT EGY KISEBB ORSZÁG

Ez a tendencia a jövőben folytatódik, sőt, az AI alapú hardverek fogyasztása tovább növekszik majd, így erre érdemes már most felkészülni.
Víg Ferenc (J.o.k.e.r)
Víg Ferenc (J.o.k.e.r)
2023. okt. 27. 13:29
Az AI munkafolyamatokat futtató hardverek annyi áramot használnak fel, mint egy kisebb ország

A francia Schneider Electric szakemberei egy érdekes kis beszámolót tettek közzé a minap, amelynek témája az, a mesterséges intelligenciához kapcsolódó terhelésformák esetében mekkora elektromos áram felhasználásra lehet számítani, amennyiben a globális mérleget nézzük. A számok már most is meglehetősen nagyok, ugyanis 2023 folyamán a várakozások szerint a teljes globális AI hardver, ami az adatközpontokban szerverekbe építve dolgozik, nagyjából 4,3 GW-os fogyasztást produkálhat majd, ami nem sokkal marad el Ciprus 2021-es elektromosáram-fogyasztásától, ami akkoriban 4,7 GW volt. Ez az érték 2028-ig természetesen dinamikusan növekszik majd, vagyis az AI-hoz kapcsolódó munkafolyamatok miatt 13,5 GW és 20 GW közötti fogyasztásra lehet számítani az adatközpontok szegmensében, ez pedig több lesz, mint amennyi elektromos áramot Grönland 2021 folyamán elhasznált.

Érdekes adalék, hogyan oszlik meg a fentebb említett fogyasztás az egyes munkafolyamatok esetében. Azt érdemes tudni, hogy 2023-ban az összes adatközpont fogyasztása nagyjából 54 GW lehet, amiből az AI eredetű terhelésformák 4,3 GW-ot tehetnek ki, azaz nagyjából 8%-át adják az adatközpontok teljes fogyasztásának. Az AI terhelésformák közül a tréningezés jelenleg a fogyasztás 20%-át adja, míg a dedukció a maradék 80%-ért felel. 2028-ra úgy változhat a kép, hogy az adatközpontok teljes fogyasztása 90 GW magasságába emelkedik, ebből az AI eredetű terhelésformákra 13,5-20 GW-os fogyasztás jut majd, vagyis a mostani 8%-ról 15-20% közé emelkedhet a részarányuk. 2028-ra a tréning és a dedukció aránya is változni fog, már ami a fogyasztás illeti: előbbi 15%-ot, utóbbi pedig 85%-ot tehet ki a teljes fogyasztást tekintve.

A folyamatban nagy szerepe van annak, hogy különböző szerver alkatrészek, beleértve az AI gyorsítókat is, egyre „éhesebbek”, hiszen míg a 2020-ban piacra dobott Nvidia A100 esetében 400 W-os TDP-ről beszélhettünk, addig a 2022-es H100-as gyorsító már akár 700 W-os TDP-vel is rendelkezhet. Ezek mellé társulnak még a jellemzően ugyancsak magas TDP kerettel dolgozó processzorok, valamint a kommunikációért felelős hálózati kártyák is. Az már csak hab a tortán, hogy a klasszikus AI terhelésformák esetében csúcsra járatva dolgozik a hardver, az elméleti maximális fogyasztásához közel, gyakorlatilag folyamatosan.

Galéria megnyitása

Egy-egy ilyen AI szuperszámítógép-fürt igencsak masszív méreteket ölt. Amennyiben 22000 darab H100-as GPU-ra van szükség, azok nagyjából 700 rackben férnek el a többi komponenssel együtt. Egy-egy ilyen szerver esetében a rack-sűrűség 44 kW-ra rúg, így a teljes fürt fogyasztása 31 MW lehet, és ebben még nincsenek benne az olyan kiegészítő infrastruktúrák fogyasztásai, mint például a hűtésé. A hálózati kapcsolat és a késleltetés alakulása szintén fontos szempont, hiszen nagysebességű összeköttetésre van szükség a hatékony munkához, ami akár 800 Gbps-os sávszélességet is jelenhet, ezt a sebességet pedig további fogyasztásba kerül előállítani.

A termelődő hőmennyiséget szintén nehéz elvezetni, akár levegő, akár folyadék alapú megoldásban gondolkodnak az üzemeltetők, ráadásul a hűtés is extra energiát igényel, főleg ekkora méretekben, így jelentősen hozzájárul a fogyasztás növekedéséhez.

A Schneider Electric meglátásai szerint az AI jellegű terhelésformákkal foglalkozó adatközpontok üzemeltetőinek érdemes néhány dolgot átgondolniuk, már ami a jövőt illeti. Mivel a közeljövőben bőven 100 kW fölé növekedhet a racksűrűség, érdemes áttérni a hagyományos 120/208 V-os feszültséget alkalmazó rendszerekről a 240/415 V-os feszültséggel dolgozó rendszerekre, amelyekkel jobban lehet alkalmazkodni az AI terhelésformák növekvő teljesítményigényéhez. Amennyiben lehetséges, a levegő alapú hűtést érdemes lehet folyadék alapúra cserélni, az ugyanis segít a rendszer megbízhatóbb működésében, valamint az energiahatékonyságot is fokozza. Ennél egy fokkal még jobb választás az immerziós hűtés, amivel több gyártó is kísérletezik, itt lényegében hűtőközegbe mártják a teljes hardvert, jellemzően olaj alapúba. A rackek méretével kapcsolatban szintén vannak meglátásai a Schneider Electric szakembereinek: szerintük legalább 750 milliméter széles rackekre van szükség, a statikus terhelhetőségnek pedig 1800 kg felettinek kell lennie.

A Schneider Electric teljes tanulmánya itt olvasható.

Hírlevél feliratkozás
A feliratkozással elfogadom a Felhasználási feltételeket és az Adatvédelmi nyilatkozatot.

11 hozzászólás

A komment írásához előbb jelentkezz be!
pdx006
pdx006
2023. okt. 28. 1:58
#2

Ezért mehetnek a nagy spórolások meg klímavédelmi akciók, napelemek, propellerek hogy azután köbre emeljék ilyesmikkel a fogyasztást. Tiszta vicc. Képmutatás az megy, ezért senki nem szól, de azért legyenek az elektronikai cikkek teleragasztgatva a fogyasztás diagramokkal, legyen betiltva az erős porszívó mer ha nem akkor büntetnek. Mint az egyszeri gondolkodású embernél a kenyér az drága, de a pia nem.

BiroAndras
BiroAndras
2023. okt. 30. 13:45

@pdx006

Valójában csak tipikus félreveeztő statisztikát láthatunk itt. Ugyanis mindenféle kontextus nélkül vannak itt a számok, így nem lehet a valódi jelentősségüket megítélni.

Kezdésnek például más iparágak fogyasztásához kellene hasonlítani, abból jobban látszana hogy ez most sok vagy kevés.
De ha már országokhoz hasonlítjuk, akkor azt is tecgük hozzá, hogy az a Föld lakosságának mekkora százaléka. Mert ugye az AI fogyasztás az globális adat.
Vagy nézzül az teljes villany fogyasztáshoz képest, ami kb. 3TW jelenleg. Tehát az adatközpontok fogyasztása elhanyagolható.

czibulazoli
czibulazoli
2023. okt. 27. 16:22
#1

Troll on: Oké, hogy ez nem a tudomány rovat, de azért nem ártana odafigyelni a mértékegységekre. A Watt (kW, mW, gW) a teljesítmény mértékegysége, a pillanatnyi áramfogyasztást jelöli. Azt, hogy mennyi áramot fogyaszt valami egy év alatt, azt a Wh (wattóra) mértékegységgel jelöljük.

Troll off.

Reméljük ennek több haszna lesz mint a kriptobányászatnak, az ugyanis még ennél is sokkal több áramot fogyaszt, és semmi értelme nincsen. Csak a bitcoin fenntartására (bányászat) több áramot használnak egy évben mint Argentína.

https://digiconomist.net/bitcoin-energy-consumption

Rhynmei
Rhynmei
2023. nov. 2. 19:45

@BiroAndras Előszöris... AI jelenleg még nincs. Ami van, az generatív AI, és baromi messze van tőle, de nem akarlak összezavarni, maradok ennél a megnevezésnél a továbbiakban.
ad1.: akinek a munkáját az AI át tudja venni (néhány kivételtől eltekintve), az már most is olyan pozícióban dolgozik, hogy kvázi eltartja a társadalom, lókötők, stb., úgy is mondhatnám, hogy nem kár értük.
ad2.: amiket felsoroltál, ezek baromira nem újdonságok: a legtöbb igényes alkalmazásnak megvolt erre a saját, alkalmazáson belüli verziója/megoldása, esetleg kicsit butábban vagy kevésbé XXI. századi stílusban, hogy ebből is lehessen kaszálni pár dollárt, kicsit továbbvitték a dolgot, összegyűjtötték, kicicomázták, de az egész csetdzsipiti bohóckodás még mindig nem több, mint egy baromi hosszú 'ha' függvénynél.

Vissza az oldal tetejére