Az Intel fejlesztőcsapatának köszönhetően egy új eszköz készült annak érdekében, hogy a játékok képminőségét hatékonyabban és eredményesebben, valós időben lehessen elemezni, ezzel fényt derítve arra, a különböző technológiák milyen képminőséget kínálnak, és hol érdemes finomhangolni őket. A Computer Graphics Visual Quality Metric névre keresztelt eszköz egy nyílt forráskódú, AI alapokon nyugvó megoldás, ami valós időben képes rámutatni az esetleges képhibákra, illetve a tesztelőkhöz hasonlóan képes értékelni a képminőséget.

Erre azért van szükség, mert manapság egyre több és több technológia áll rendelkezésre a játékok képminőségének javítására, illetve a teljesítmény hatékony növelésére is, gondoljunk csak a képkockák felskálázására, az AI alapú képkocka-generáló technológiákra, illetve az egyéb olyan megoldásokra, amelyek működésük során képhibákat okozhatnak. Ilyen képhibák lehetnek az élsimítással kapcsolatos rendellenességek, a villódzás, a szellemképesedés, illetve számos egyéb olyan rendellenesség is, amelyek ronthatják a vizuális élményt, ezzel pedig a játékélményt is beárnyékolhatják. Ezeket a rendellenességeket igyekszik valós időben, hatékonyan, az emberi tesztelőkéhez hasonlítható pontossággal elemezni és értékelni az Intel újítása, a CGVQM.

A nyílt forráskódú eszköz alapját egy 3D CNN (Convolutional Neural Network) adja, amit saját adatkészleteken keresztül tréningeztek az Intel szakemberei. Ezt az adatkészletet Computer Graphics Visual Quaity Dataset névre keresztelték, és lényegében minden olyan potenciális képhibát beleintegráltak, amire a modern renderelési technikák esetében számítani lehet. Ilyen renderelési technikák a Path Tracing, a neurális felskálázás, a neurális zajszűrés, a képkocka-interpoláció, illetve az Adaptive Variable-Rate Shading is, azaz elég jól lefedték azokat a területeket, ahol hasznos lehet az eszköz. A fejlesztők egy olyan AI modellt készítettek, ami képes felismerni a képhibákat és képes értékelni a végső képminőséget, méghozzá úgy, hogy hibatérképet is generál, amelyen látszik, az adott képkockán pontosan hol talált hibákat.

Annak érdekében, hogy az AI alapú eszköz működése az emberi tesztelők érzékeléséhez hasonlóan működjön, felkértek néhány önkéntest, hogy értékeljék a képkockákon látható hibajelenségeket attól függően, mennyire zavaróak. Ezeket az értékeléseket aztán felhasználták az AI modell működésének csiszolásához, majd ismét tréninget hajtottak végre, ezúttal már a tesztelői értékelések alapján létrehozott etalon alapján, ami segít, hogy az AI modellnek legyen viszonyítási alapja, mi az elvárt képminőség-szint, és mely torzulások okozzák a legjobban észrevehető vizuális degradációt. A 3D-ResNet-18 alapú modellt a megfelelő kalibráció elvégzését követően teszteknek is alávetették.

A tesztek alapján a CGVQM-5 modell, ami magas fokú részletességgel dolgozik, ellenben nagyobb erőforrást is igényel, az emberi tesztelők mögött a második helyet szerezte meg, míg a karcsúsított CGVQM-2-es modell, ami egyszerűbb neurális hálózatot használ, így kevesebb erőforrást köt le, a harmadik helyen végzett a tesztelt modellek között, rögtön a CGVQM-5 mögött.

A kutatók szerint az új modell nemcsak az általuk készített Cumputer Graphics Visual Quality Dataset használata mellett dolgozik jól, hanem olyan források esetében is, amelyek nem szerepeltek a tréningezéshez használt adatkészletben, azaz a modell jól generalizálható. Ez, vagyis a generalizálható karakterisztika igazából egy kulcsfontosságú tulajdonság abban a tekintetben, hogy ennek köszönhetően szélesebb körben is használható az eszköz, ami előfeltétele annak, hogy nagyobb népszerűségre tegyen szert és valóban hasznos alkalmazássá nőhesse ki magát.

Az eszköz működését lehetne fokozni, például a 3D-CNN modell helyett TNN (Transformer Neural Network) modell használatával, ám utóbbihoz masszív számítási teljesítményre van szükség ahhoz, hogy megfelelően használható legyen. A kutatók szerint a pontosságot is lehetne még javítani, ehhez extra információkat is elérhetővé lehetne tenni a modell számára, például az Optical Flow Vector adatokat is, ezzel hatékonyabban lehetne értékelni a képminőséget.

Az új eszköz már elérhető az érdeklődők számára, jelenlegi formájában is érdekes lehet kipróbálni, a jövőben pedig még tovább javíthatják hatékonyságát és pontosságát, azaz megvan rá az esély, hogy egy fontos eszközzé nőheti ki magát – ugyanakkor az is erősen valószínű, hogy a nagy konkurensek is készítenek majd hasonló, a saját technológiáikhoz jobban passzoló képminőség-vizsgáló eszközöket, természetesen ugyancsak AI alapon.

A szoftver innen tölthető le, és mind az Unreal Engine, mind pedig a Vulkan alapú játékok készítésénél jól jöhet, könnyedén integrálható a meglévő munkafolyamatba.