AI – A mágikus hívószó

A mesterséges intelligencia éppen iparágakat alakít át, illetve átlagfelhasználói szinten is számos olyan újítást tesz elérhetővé, amelyek eddig elképzelhetetlenek voltak. Nem véletlen, hogy az új trendből minden gyártó próbál a lehető legtöbbet profitálni, nem kivétel ez alól az Nvidia sem, viszont riválisaihoz képest sokkal jobb helyzetben van, ugyanis számos olyan gyorsítót készítettek, amelyek segítenek az AI-ban rejlő lehetőségek kiaknázásában az üzleti szegmensben. A gyártó „jó időben volt jó helyen”, a CUDA ökoszisztéma révén igencsak mélyen be van ágyazódva a különböző üzleti szegmensek szövetébe, ennek hatására sorra dőlnek a pénzügyi rekordok, hiszen a vállalat gyorsítói iránt szinte szomjazik a piac.

Ezzel egy időben a gamereket és az átlagfelhasználókat sem hagyták magukra, ők is megkapták a releváns gyorsítóikat, ám ezek nem külön gyorsítókártyák formájában, hanem GPU-ba integrált célhardverként érkeznek. Ahogy azt már sokan kitalálhatták, a Tensor magokról van szó, amelyek első generációs verziói a GeForce RTX 20-as sorozatban foglaltak helyet, már ami az Nvidia gamer videokártyákat illeti.

Ha a teljes kínálatot vesszük, akkor igazából az adatközpontokba szánt Tesla V100 kapott először Tensor magokat a Volta architektúra részeként, de ezt csak érdekességképpen említjük, térjünk is vissza a GeForce RTX 20-as családhoz. Ez a széria nagy előrelépés volt a korábbi dizájnhoz képest, így az eredeti tervekkel ellentétben nem GTX 20-as, hanem RTX 20-as nevezéktant vetett be náluk a gyártó, pedig a korábbi prototípusok alapján utóbbi névre menet közben esett a választás, amikor a fejlesztőmunka már előrehaladott állapotban volt.

Az RTX név persze nem, vagyis nemcsak a Tensor magok miatt, hanem a Ray-Tracing technológiát biztosító dedikált hardver, az RT magok miatt lépett színre. Azóta már újabb 2 generációnyi GeForce RTX sorozatú videokártya jelent meg az RTX 30-as és az RTX 40-es modellek formájában, sőt, idén az RTX 50-es példányok is debütálhatnak, amelyek már a Blackwell architektúrában rejlő lehetőségeket kamatoztathatják és sok területen hoznak előrelépést. Utóbbiakra majd fény derül a megjelenést követően, most azonban nézzük, hogy is áll az Nvidia AI fronton a gamereknek és az átlagfelhasználóknak szánt technológiák és szoftverek terén. Ugyan az üzleti szoftverek és az üzleti felhasználóknak szánt technológiák is fontosak, hiszen ezek lendítik előre a különböző iparágakat, átlagfelhasználói szemmel nézve mégsem ezek az érdekesek, de igény esetén később ezekre is kitérünk.

A mesterséges intelligencia a játékosok és az átlagfelhasználók szolgálatában

Az AI számos területen segíti a gamereket és az átlagfelhasználókat, legyen szó az FPS értékek növeléséről, a VoIP kommunikáció során használt mikrofon zajszűréséről, a különböző videok felskálázásáról, a régi játékok felújításáról, vagy éppen a következő generációs játékokban szereplő NPC, azaz nem-játszható karakterek intelligensebbé tételéről. Ezzel együtt a harmadik fél által készített szoftverekben is egyre inkább elérhetőek a Tensor magok nyújtotta előnyök, illetve a Windows Copilot+ PC kategóriájában is megjelenhetnek az RTX videokártyával szerelt rendszerek, amelyeket az Nvidia érthető módon RTX AI PC néven emleget.

A gyártó egyébként nemrégiben kifogásolta, hogy a Microsoft a Copilot+ PC kategóriánál teljesítendő követelményként jelölte meg, hogy az NPU-nak legalább 40 TOPs teljesítményszintet kell elérnie, pedig az Nvidia videokártyái ennél sokkal nagyobb teljesítményre is képesek. Persze az tény, hogy az NPU többnyire jóval energiahatékonyabb, hiszen célhardverről van szó, de igazából a Tensor magokat is munkára lehetne fogni a Windows 11 helyi AI gyorsítást igénylő alkalmazásaihoz, de ez már egy másik történet. Az Nvidia videokártyák AI gyorsításában rejlő előnyöket így is egyre több és több területen lehet kamatoztatni, és a helyzet a későbbiekben tovább javulhat.

Na de mik azok a Tensor magok?

Ezek speciális célhardverek, amelyekből több is helyet foglal egy-egy adott Nvidia GeForce RTX vagy Quadro RTX sorozatú videokártya grafikus processzorának fedélzetén. A Tensor magok lényegében parányi AI gyorsító részegységek, amelyek FMA (Fused Multiply & Add) műveleteket tudnak elvégezni, vegyes pontosságú és dinamikus számításokkal dolgozhatnak, így segítenek az AI jellegű munkafolyamatok jelentős mértékű gyorsításában.

A CUDA magokhoz képest itt „feladásra kerül” némi pontosság, ám a gépi tanulással kapcsolatos munkafolyamatok esetében ez nem probléma. A CUDA magok ezzel egy időben inkább az általános számítási feladatokban jeleskednek, amelyeknél a párhuzamosság is fontos szempont. Ezek a magok a játékok és az egyéb alkalmazások mellett természetesen AI jellegű feladatokra is befoghatóak.

A teljesítménynövelő, neurális hálózatra támaszkodó DLSS fejlődésének története, dióhéjban

Az RTX 20-as széria érkezésével nemcsak a valósághű fénykövetést biztosító Ray-Tracing technológia mutatkozott be, hanem a Tensor magok is, amelyek eleinte „csak” a Deep-Learning Super Sampling eljárás alapjául szolgáltak. A DLSS technológia dióhéjban arra használható, hogy a GPU által renderelt képeket, amelyek a monitoron jelennek meg, nem a monitor valós, natív felbontásán készíti el a rendszer, hanem annál egy alacsonyabb felbontáson, ezáltal több képkocka készülhet egy időben, amit később a DLSS technológia a megfelelően tréningezett neurális hálón keresztül fel tud skálázni.

A kisebb felbontásban lerenderelt kép ennek hatására jó minőségben, natív felbontásban, kisebb GPU terhelés mellett készülhet el, ami növeli az FPS teljesítményt, ezáltal folyékonyabb képi megjelenítésben lehet részünk, főleg, ha még G-Sync vagy G-Sync Compatible technológiát is használunk, monitortól függően. Utóbbi lényegében arról gondoskodik, hogy a monitor képfrissítési rátája igazodjon a GPU képkockakészítési tempójához, ezáltal dinamikusan váltakozhat a képfrissítési ráta, a GPU aktuális teljesítményétől függően, a játék pedig folyékonyan jelenhet meg, nem lesznek képtörések és egyéb zavaró kellemetlenségek.

Az első generációs, kétlépcsős spatiális felskálázó technológiára, illetve konvolúciós autóenkóder neurális hálózatra épülő DLSS technológia még 2018 szeptemberében, a GeForce RTX 20-as sorozat első tagjaival rajtolt el, és igazából elég kevés játék támogatta, valamint a képminőség sem volt még az igazi, hiszen gyerekcipőben járt a megvalósítás. A DLSS-t akkoriban a Battlefield V és a Metro Exodus jóvoltából lehetett kipróbálni, magát az algoritmust pedig minden egyes játékra tréningezni kellett annak érdekében, hogy az adott tartalmak felskálázása a lehető legjobb minőségben történjen. A felskálázás pixelenként 64 mintával történt, az egyes képkockákhoz tartozó mozgásvektorok figyelembevételével, a tréningezést pedig az Nvidia Saturn V szuperszámítógép-fürtje végezte.

A tréningezés során a lehető legtöbb adatot kellett begyűjteni az adott játékból, különféle beállítások, felbontások, illetve pályák szerepeltek a felhozatalban annak érdekében, hogy a neurális hálózatot felkészíthessék szinte az összes körülményre. A támogatott játékok köre nagyon gyorsan bővült, 2018. szeptemberében már arról írhattunk, hogy az első 16 mellé további 9 cím támogatása érkezhet a közeljövőben. Érdekes adalék a korai DLSS támogatáshoz, hogy a Control című játéknál szokatlan implementációt alkalmaztak, ott ugyanis nem a Tensor magokra, hanem a CUDA magokra támaszkodott a DLSS funkció. Ez az 1.9-es verzió volt, ami a Turing architektúra köré épülő GeForce GTX sorozatú videokártyákkal is működött, ám hamar érkezett a patch, amellyel elérhetővé vált a DLSS 2.0-s kiadása, így a Control is Tensor magokkal valósította meg a szolgáltatás támogatását.

A DLSS 2.0-s verziója már 2020 tavaszán elrajtolt, ez viszont már temporális élsimításon alapuló felskálázással dolgozott (TAAU). A technológia lényegében a korábbi képkockák adataira támaszkodott annak érdekében, hogy a képrészletek megfelelőek legyenek és az élek recézettsége csökkenhessen. A munka során a DLSS 2.0 technológia a nyers felbontás mellett a mozgásvektorokat, a fényerősség-adatokat, illetve a mélységbuffereket egyaránt felhasználta a siker érdekében. A DLSS 2.0 implementációja szintén konvolúciós autóenkóder neurális hálózatra támaszkodott, amit úgy tréningeztek, hogy képes legyen felismerni és javítani az egyes képhibákat, így ne kelljen manuálisan programozni, a végső eredmény pedig jobb legyen.

Az implementáció olyannyira jól sikerült, hogy esetenként még a magasabb felbontásban renderelt képeknél is élesebb végeredményt produkált, illetve a normál TAA és TAAU technológiákhoz képest is jobban teljesített. Noha itt már nem volt szükség arra, hogy a neurális hálózatot újratréningezzék az új játékokhoz, mégis sor került erre annak érdekében, hogy a képminőség még jobb lehessen.

A DLSS 1.0-hoz képest a 2.0 esetében jelentősen csökkent az overhead mértéke, ami csökkentette a késleltetést, javult a képrészletek megtartásának képessége, valamint nem kellett a neurális hálózatot minden egyes játékhoz külön tréningezni a megfelelő működéshez. Fontos viszont, hogy míg a DLSS 1.0 új adatot hozott létre a kép felskálázásához az alacsony felbontású forrásképből, addig a DLSS 2.0 már úgy oldotta meg a feladatot, hogy az előző képkockák elemzésével egészítette ki az új képkockát. Éppen ezért a gyártó azt ajánlotta a fejlesztőknek, lehetőség szerint használjanak magasabb felbontású textúrákat, mint amit az adott felbontásnál alapból bevetnének, ha a DLSS 2.0 aktív. Ez segített a képminőség további javításában, így a DLSS 2.0 összességében ütőképesnek tűnt, de persze nem volt teljesen hibátlan. Az új technológia ezzel együtt a teljesítmény további növelésében is segített.

2022 szeptemberében elérkeztünk a DLSS 3.0-s verziójához, ami az Ada Lovelace architektúrával karöltve mutatkozott be. Az új architektúra jóvoltából egy továbbfejlesztett Optical Flow Accelerator állt rendelkezésre, ami a korábbi megoldásokhoz képest sokkal gyorsabban és pontosabban dolgozott, ezáltal a DLSS 3.0 még jobb teljesítményt kínálhatott, cserébe viszont ezt a verziót már csak a GeForce RTX 40-es sorozatú, illetve ennél újabb videokártyáknál lehet használni.  A DLSS 2.0-s verziójához képest előrelépés, hogy mozgás-interpolációt vetettek be a fejlesztők, vagyis a képgeneráló algoritmus két lerenderelt képkockát elemezve hoz létre egy újat, ami folyékony átmentet képvisel kettőjük között. Ezáltal minden újonnan renderelt képkocka mellett készült egy további, az említett metódus használatával.

A legfrissebb DLSS implementáció jelenleg a DLSS 3.5, ami 2023 szeptemberében debütált. Ez a verzió azzal emeli a tétet, hogy immár sugár-rekonstrukcióra is képes, ami a teljes Ray Tracing támogatással rendelkező játékok esetében jöhet jól. Ezzel egy időben további fontos változás, hogy ettől a verziótól kezdve a zajszűrő algoritmusokat lecserélték egy új AI modellre, amit ötször több adaton tréningeztek, mint a DLSS 3.0-s kiadását, ezáltal pontosabban és hatékonyabban dolgozhat.

Nagyon fontos kitétel, hogy a DLSS 3.5 a DLSS 3.0-val ellentétben nem csak és kizárólag a GeForce RTX 40-es sorozattal működik, hanem az összes eddigi GeForce RTX és Quadro RTX sorozatú videokártyával, beleértve a Ray-Reconstruction funkciót is. A kompatibilitás kiterjed továbbá a Super Resolution és a Deep Learning Anti-Aliasing funkcióra is, a fentebb említett Frame Generation azonban a DLSS 3.5 esetében is csak a GeForce RTX 40-es sorozattal működik, hiszen csak azok kapták meg az ehhez szükséges új generációs OFA motort.

Fontos továbbá, hogy a DLSS kapcsán elérhető az úgynevezett DLAA, azaz a Deep Learning Anti-Aliasing, ami mélytanuláson alapuló élsimítást kínál az egyes játékokhoz. Itt neurális hálózat segít a képkockák tartalmának élsimításában, viszont ezt a módot választva sem felskálázásra, sem leskálázásra nem kerül sor, pusztán az élsimítást valósíthatjuk meg AI alapon, jó minőségben.

Maga a DLSS alap esetben a TAA-hoz hasonló eljárást vet be élsimításként, ám itt nem az előző képkockák alapján készül el az új képkocka, picit bonyolultabb mechanizmus van használatban, ennek köszönhetően a végeredmény is jobb minőségű. A DLSS élsimító algoritmusa különböző képkockák különböző pixeljeit veszi alapul, majd ezeket felhasználva tölti ki az új pixeleket az adott képkockán belül, ehhez pedig mesterséges intelligenciát, pontosabban gépi tanulást vet be, így tudja kombinálni az egyes képkockák tartalmát az új képkockában. A folyamat természetesen a Tensor magok bevetésével zajlik, ahogy azt a felskálázásnál és a DLAA-nál már megszokhattuk.

Nvidia Broadcast

Ez az alkalmazás szintén tartalmaz némi AI funkcionalitást, amit arra használhatunk, hogy a streamek vagy a VoIP kommunikáció hangját az AI zajszűrésének vetjük alá, ezáltal tiszta, háttérzajoktól mentes kommunikáció valósítható meg. Az AI segítségével a képi tartalom is kezelésbe vehető, például AI alapon lecserélhető a háttér, van lehetőség háttér-elmosásra is. A videó esetében az Auto Frame technológia keretén belül automatikusan követheti a mozgásunkat a rendszer, ennek megfelelően vághatja a képest és zoomolhat is, ha szükséges.

Ha kevés fény áll rendelkezésre, a zajos képből eltüntethető a zaj is, illetve az Eye Contact funkció révén arról is gondoskodhatunk, hogy mindig úgy tűnjön, hogy a kamerába nézünk – akkor is, ha éppen nem. Az app aktuális változata innen tölthető le, és számos egyéb alkalmazáson belül is kiaknázhatjuk a benne rejlő lehetőségeket, legyen szó streamer, vagy egyéb appokról.

RTX Video Super Resolution és HDR – Új életet kapnak a régi videó streamek, hála az AI alapú felskálázásnak

Az Nvidia RTX Video néven a videók szegmensében is elérhetővé tette a felskálázásban rejlő lehetőségeket, sőt, a Super Resolution funkció mellett HDR funkció is rendelkezésre áll, ami a normál dinamikatartományú videókból HDR videót varázsol. Fontos leszögezni, hogy az RTX Video mögött dolgozó algoritmus ugyan hasonló előnyöket kínál, mint a fentebb részletezett DLSS, mégis teljesen különböző technológiákról van szó, amelyeket más és más adatkészleteken tréningeztek annak érdekében, hogy az adott terület igényeinek maradéktalanul megfeleljenek.

Az RTX Video SuperResolution segítségével az alacsony felbontású videók és streamek felskálázhatóak, akár 4K-s felbontásra is, ezzel egy időben pedig nemcsak a felskálázásra kerül sor, de a tömörítéssel kapcsolatos képhibákat is kigyomlálja az algoritmus, amire egyébként felskálázás nélkül is használható. Az RTX Video Super Resolution eredetileg csak a GeForce RTX 30-as és a GeForce RTX 40-es sorozatú videokártyákkal működött, ám az 1.5-ös frissítés érkezésével a GeForce RTX 20-as modellek is bekerültek a kalapba, így a teljes RTX sorozattal használható az újítás.

Az RTX Video Super Resolution a VLC mellett a Chrome, az Edge, illetve a FireFox webböngésző segítségével is elérhető. A 2024 januári frissítéssel automatikus minőségválasztásra is képessé vált a funkció, valamint státusz indikátor is megjelent, de ami ennél is érdekesebb, egy új funkció is elérhetővé vált, ami nem más, mint az RTX Video HDR.

Ez az újítás az AI segítségével alakítja át a normál dinamikatartományú (SDR) videókat magas dinamikatartományúra (HDR). A technológia használatához GeForce RTX sorozatú videokártyára, HDR10 támogatással ellátott megjelenítőre, 64-bites Windows 10 vagy Windows 11 operációs rendszerre, a legfrissebb GeForce vagy Studio driverre, illetve a Chrome vagy az Edge legújabb változatára van szükség. Azt persze érdemes kiemelni, hogy a funkció a HDR tartalmaknál természetesen nem működik, illetve a tartalomvédelemmel ellátott (DRM) videók közül sem használható mindegyikkel.

Újdonságok a Computex 2024-ről

Az idei Computex alkalmával az Nvidia több érdekes AI alapú megoldásról is említést tett, amelyek a jövőben gyökeresen megváltoztathatják a játékipart, hiszen olyan új lehetőségeket tesznek elérhetővé a fejlesztők és a gamerek számára, amelyekről eddig szinte csak álmodhattunk. Hogy az implementációk mennyire lesznek hatékonyak és vissza lehet-e majd élni a játékokba épített AI kínálta lehetőségekről? Ez a jövő zenéje, addig is érdemes rápillantani, milyen újításokat hoz a Project G-Assist, illetve az RTX AI Toolkit.

Project G-Assist: Rövidesen AI alapú asszisztens segíti az eredményesebb játékot

Napjaink játékai egyre bonyolultabbak, egyre komplexebb feladatokat kell megoldani bennük, valamint egyre nehezebb megfelelő stratégiákat kialakítani alattuk, így a végigjátszás folyamata is nehezebb lehet. Legalábbis az Nvidia szakemberei így látják, éppen ezért egy hasznos kiegészítőt készítenek mindazoknak, akik eredményesebben és hatékonyabban szeretnének játszani a különböző modern címek alatt GeForce GPU-val ellátott rendszerükön.

Őket a Project G-Assist segíti, ami egy nagy nyelvi modellhez kapcsolódó személyi asszisztenst bocsát rendelkezésükre. Az asszisztens óriási mennyiségű játékadathoz fér hozzá, ennek megfelelően a játékosok kérdéseire rendszerint eredményesen tud válaszolni, így könnyebb megtenni a következő lépést az adott cím alatt, illetve a játékélmény is sokkal jobb lehet.

Az Nvidia szerint sokan a túl bonyolult, túl sok időt igénybe vevő játékok miatt döntenek úgy, hogy egy-egy adott címmel mégsem játszanak, hiszen a tanulási görbe és a sikeres játékhoz szükséges időbefektetés szerintük nincs arányban a kikapcsolódás értékével. Ebben tud majd segíteni a Project G-Assist, ugyanis az AI alapú asszisztens meg tudja válaszolni a játékos kérdéseit, legyen szó chatről vagy éppen hang alapú kérdésekről.

A játékhoz hozzáférve az adott kontextushoz kapcsolódó válasz érkezhet, hála az AI Vision modellek használatának, ugyanis ezáltal az AI asszisztens „látja”, mi van a kijelzőn, hatékonyan tanácsot tud adni a következő lépéssel kapcsolatban. Akár abban is segíthet, hogy megmondja, az adott játékon belül melyik a leghatékonyabb korai fegyver, az mekkora sérülést tud okozni, milyen gyengeségekkel rendelkezik, illetve hogyan lehet megszerezni vagy legyártani a játékon belül. Ehhez persze arra is szükség van, hogy az adott játékba integrálják a Project G-Assist funkciót, ezt az RTX AI fejlesztőkészleten keresztül lehet megvalósítani, amiről lejjebb még írni fogunk.

Az asszisztens nemcsak a játékmenettel kapcsolatban nyújthat segítséget, hanem az optimális teljesítmény elérésében is. Grafikai és egyéb beállításokat javasolhat, illetve akár még biztonságos tuningot is eszközölhet a GPU esetében, ha kérjük. Amennyiben az energiahatékonyabb működés a fontos, intelligensen csökkenteni tudja a fogyasztást is, miközben a teljesítmény továbbra is elég lesz a játszhatóság megtartásához.

Arról egyelőre nincs hír, hogy a Project G-Assist pontosan mikor debütál, az viszont biztos, hogy integrálásához időre lesz szükségük a játékfejlesztőknek, már amennyiben látnak fantáziát az újításban. Ha a funkció hozzájárul ahhoz, hogy egy adott játék népszerűbb legyen, egészen biztosan elgondolkodnak majd a fejlesztők a Project G-Assist integrálásán, ehhez azonban időre van szükség, és egyebek mellett azt is ki kell puhatolni, a gamerek igénylik-e az efféle újítást az adott cím esetében…

Jön az RTX AI Toolkit

A fentebb már említett eszközkészlet fő célja az, hogy segítse a fejlesztőket az AI modellek finomhangolásában és egyedivé tételükben, így azok a lehető legjobban idomulhatnak majd az adott igényekhez. Az eszközkészlet segítségével intelligens NPC-k készülhetnek a különböző játékokba, amelyekkel interakcióba lehet majd lépni, de egyéb területeken is be lehet majd vetni az újítást.

Az optimalizáció egyébként igencsak hatékony lehet, legalábbis az egyik példa erre világít rá. Ebben egy 7 milliárd paraméterből álló LLM (nagy nyelvi modell) adta az alapokat, ez dolgozott az NPC mögött, az LLM futtatásához azonban egy GeForce RTX 4090-es videokártyára és 17 GB-nyi VRAM-ra volt szükség alap esetben, cserébe másodpercenként 48 token készülhetett el. Ezt az LLM-et az RTX AI eszközkészlet segítségével kezelésbe vették, készítettek egy optimalizált modellt, ami már 5 GB-nyi VRAM-mal is elketyegett, cserébe viszont 187 tokent készített másodpercenként. A sebesség jól láthatóan közel négyszeresére nőtt, a VRAM-igény pedig a harmadára csökkent, ami azt jelenti, hogy elméletben akár egy 6 GB-os GeForce RTX 4050 Laptop GPU mellett is használható lehetne a modell.

A show alkalmával azt is megmutatták, hogyan működnek együtt a fentebb említett AI technológiák annak érdekében, hogy a játékélmény is új szintre emelkedjen. Ezt a lenti videón lehet megtekinteni. Újítás még, hogy az RTX TensorRT gyorsítás immár a ComfyUI alatt is elérhető, ami egy népszerű, Stable Diffusion alapú képgeneráló eszköz. A ComfyUI integráció a tervek szerint az RTX Remix fedélzetén is elérhető lehet a közeljövőben, ami azért jó, mert ezzel jelentősen felgyorsítható a régi játékok textúráinak felújítása.

Egyre nagyobb teret hódít magának az AI

Ahogy a fejlesztők elkezdik felfedezni, mi mindenre lehet bevetni a mesterséges intelligencia által nyújtott eszközök tárházát, úgy lesznek egyre izgalmasabbak és érdekesebbek az egyes játékok és szoftverek. Ehhez természetesen megfelelő hardverre, szoftveres keretrendszerre, illetve szoftveres implementációkra is szükség van, de ez az eddigi gyakorlat alapján aligha lesz probléma. Az AI összességében rengeteg területen lehet hasznos és ütőképes, ugyanakkor meglehetősen veszélyes kétélű fegyvernek is minősül, amire a kiberbűnözők is támaszkodhatnak, de ez már egy másik történet...