Ismét jelentkeztek a Facebook Reality Labs szoftvermérnökei, hogy megosszák velünk a legújabb fejleményeket a mesterséges intelligenciával feltupírozott avatar fejlesztéseikkel kapcsolatban.

A jelenleg használt Oculus Avatarok egyáltalán nem rosszak, sőt, megdöbbentően élethű mimikával rendelkeznek a virtuális téren belül ahhoz képest, hogy egyedül a beszédünkre és a fejmozgásunkra tudnak reagálni. A Facebook Reality Labs-nál már régóta dolgoznak a VR avatarok következő generációján, erről is láthattunk már többször is felvételt működés közben.

Az alapkoncepció ezeknél az új rendszereknél az volt, hogy több, mint 130 kamera segítségével rögzítették az alanyoknak az arcát, majd folyamatosan tanították a mesterséges intelligenciát arra, hogy milyen pozíciókat tud felvenni az arcunk és a szemünk. Ezután pedig már egy olyan VR szemüveget adtak az alanyokra, amik nem csak a szemet, de az arcot magát is képesek követni valós időben. Mivel a nyers rögzítés hibákat eredményezne, ezért a már betanított mesterséges intelligencia korrekciókat hoz létre a 3D modellen, így egy megdöbbentően élethű avatart tudtak létrehozni a virtuális térben.

Ezzel csupán az a probléma, hogy a virtuális arc csak a közösségi élmények során hasznos, amikor valaki egyedül vagy offline használja a szemüveget, akkor az ehhez szükséges szenzorok súlya problémát okozhat a felhasználó kényelmének szempontjából (a Sony mindenesetre egy ilyen szenzorokat tartalmazó szemüveg szabadalmát már korábban beadta, de ez nem jelenti azt, hogy a következő PSVR-nál használnák is, mint működő megoldást).

Van viszont egy olyan szenzor, ami mindenképpen része lesz a jövő VR szemüvegeinek így nem csak egy fölösleges súly lesz az egyedül játszók számára. Ez lesz a szemkövetés. Ez a rendszer nem csak arra lesz jó, hogy társaságban javítsa a VR térben a szemkontaktust, hanem különböző alkalmazásoptimalizáló megoldásoknak, jobb látványvilágnak, automata IPD állításnak, fókuszállításnak és számtalan egyéb hasznos lehetőségnek teremtené meg az alapokat (a VR jövőjéről itt írtunk korábban és a szemkövetés hasznos oldalairól is szót ejtettünk).

A szemkövetés viszont még mindig nem lenne teljesen elegendő az élethű és hiteles avatarok létrehozásához, hiszen a szemünkön kívül más arcrészünket nem fürkészné a szemüveg. Ezt a problémát kívánják legyűrni a Facebook Reality Labs mérnökei azzal, hogy a jelenleg „Codec Avatar” névre keresztelt, mesterséges intelligenciával megtámogatott avatarokat használnánk, amik hihetetlen eredményekkel képesek a tekintetből és a mikrofon által rögzített neszekből reprodukálni az arcunk mozgását.

A videóban látható, hogy milyen megoldásokat alkalmaztak annak érdekében, hogy egy szemre/hangra épülő avatar a lehető legpontosabb eredményt nyújthassa.

Az audió hang alapján létrehoznak egy modellt, majd a szemkövetés alapján szintén egy másik modellt, amit aztán a mesterséges intelligencia megfontoltan összeturmixol és a tapasztalatai alapján kitalálja, hogy milyen arcot vághat a felhasználó közben.

Ahhoz, hogy a rendszer jól működjön, a VR/AR szemüvegben muszáj, hogy jó minőségű mikrofonok legyenek, de ha ez megvan, akkor onnantól kezdve még az ajkunk nyelvünkkel való nedvesítését is le tudja generálni a szoftver.

Természetesen ezen megoldások hosszú távon jelenhetnek csak meg az otthon használt VR és AR szemüvegekben, hiszen a fent látható 3D modelleket is számtalan kamerával kellett rögzíteni, de érdekes látni, hogy milyen zseniális optimalizációs megoldásokat tud nyújtani a mesterséges intelligencia ezen a téren is.

Azt szinte biztosra vehetjük, hogy pár éven belül egy telefon arckamerájával képesek leszünk olyan arcmodelleket létrehozni, amivel akár ez a szint is elérhetővé válhat majd és ez nem csak a VR világban lesz hasznos. Egy AR szemüveg segítségével akár mi magunk is megjelenhetnénk más AR/VR szemüveg felhasználók előtt, mint egy „hologram”, mindezt pedig egy nagyon élethű avatar segítségével.