Dr. Zsolnai-Fehér Károly, a Two Minute Papers népszerű YouTube csatorna készítője egy rendkívül izgalmas videóban foglalta össze, hogy min ügyködik éppen az NVIDIA, az University of Toronto és a Vector Institute annak érdekében, hogy egyetlen egy videoforrásból a számítógép le tudja követni az emberi mozgást.
Amikor egy kamerával rögzítünk egy embert, akkor különböző gépi tanulási rendszerek képesek lekövetni mozgást és erre valamilyen 3D-s hálót vagy csontot vetíteni, ami hasznos lehet a számítógépes animáció létrehozásában.
Ezzel a megoldással rengeteg érdekes és látványos dolog elérhető el, egészen addig, amíg a fényviszonyok megfelelőek és minden testrész rendesen látszódik a kamerában. De mi történik akkor, ha például egy képen sok minden történik és a nagy nyüzsgésben valaki eltűnik a kamera látószögéből? Ez esetben a gép nem tudja értelmezni a látottakat és különböző anomáliák lépnek fel, a 3D modell már nem fog hihetően működni és kinézni.
MOCAP animáció készítésnél pedig külön problémát tud jelenteni az, hogy bármennyire is pontos a rögzítési mód, mindig akadnak olyan különböző kiugrások a mozgási folyamatokban, ami olyan, mintha rángatózni kezdene egy testrész, ezeket az animátoroknak kézzel kell kibogozni, ami szakértelmet és időt igénylő feladat.
Az NVIDIA új kisérletei alapján viszont van megoldás a problémára, mégpedig úgy, hogy a gép által a videóból létrehozott 3D karaktereket egy fizikai szimulációt futtató játékmotorba ültetjük át.
Ilyen módon a gép képes értelmezni, hogy attól, hogy éppen nem látszik valakinek a lába, a súrlódás és a gravitáció miatt hirtelen nem teleportálódik az méterekkel arrébb, hanem ott marad az ember a helyén. Ezzel együtt pedig a rendszer meg is tudja jósolni, hogy milyen mozdulatsor fog következni, például, ha egy kéz lendülni kezd egy futó embernél, akkor nem hirtelen meg fog jelenni az ember másik oldalán, hanem a fizika alapján kiszámítható, hogy hol és mikor fog megjelenni.
Ennek segítségével pedig eltűnnek a mozgás rögzítése során történt anomáliák, hiszen a fizika értelmezése alapján senkinek a talpa nem csúszkál ide oda, ha egyhelyben áll, hiába hiszi azt a gép, a játékmotor kijavítja a dolgokat és bizonyos ellenállást tanúsít a gép által értelmezett jelekkel szemben.
A technika használata tehát VR rendszerekben lehet hasznos, hogy a teljes emberi test a virtuális térbe kerülhessen egyetlen otthoni kamerával, de akár professzionális szinteken is nagy segítség lehet, hiszen nagyban megkönnyítheti a nyers animációs adatok feldolgozását, amit készen lehet átültetni filmekbe és játékokba.
