Shop menü

NVIDIA: VIDEÓ LASSÍTÁSA MESTERSÉGES INTELLIGENCIÁVAL

Az Nvidia kutatói a mesterséges intelligenciát hívják segítségül ahhoz, hogy a normál videót tovább lassíthassák, méghozzá akadozás nélkül, a hiányzó részletek MI alapú rekonstruálásával.
Víg Ferenc (J.o.k.e.r)
Víg Ferenc (J.o.k.e.r)
Nvidia: Videó lassítása mesterséges intelligenciával

Az Nvidia előszeretettel szemlélteti, mi mindenre jók GPU alapú gyorsítóik a mesterséges intelligencia és a gépi tanulás terén, így olykor-olykor felbukkan egy-egy különleges alkalmazási mód. Legutóbb például egy olyan kutatásról rántotta le a leplet a cég, amelynek fő témája a normál videók lassítása, méghozzá úgy, hogy a hiányzó képkockákat mesterséges intelligencia pótolja, így a 30 FPS-es videóból folyékonyan futó 240 FPS-es videó születhet, ami minden szükséges részletet tartalmaz.

Az Nvidia MI kutatórészlege több, mint 11 000 videóval tréningezte a Super SloMo funkció mögött húzódó rendszert, amelyek között 240 FPS-es hétköznapi videók, valamint sportfelvételek is jelen voltak. A platform a cuDNN gyorsítást használó PyTorch mélytanuló keretrendszer köré épült, amelyet Tesla V100-as gyorsítókból álló tömb szolgált ki. Az így létrehozott platform egy előrejelző-modellt készített, ami pontosan leképezi és megjósolja a videófolyamokon látható mozgásokat, majd a rendelkezésre álló kulcskockák közé létrehozta a további képkockákat is, így a videó akadozás nélkül lassíthatóvá válik.

Galéria megnyitása

Ahhoz, hogy egy másodpercenként 30 képkockából álló felvételt nyolcadára lassítsanak, a meglévő képkockák közé másodpercenként 210 új képkocka létrehozására van szükség, amit a neurális hálózat gond nélkül el tud készíteni. A technológiával akár a már eleve lassított felvételeket is tovább lehet lassítani.

Az Nvidia a lassított videóiról népszerűvé vált Slo Mo Guys YouTube csatorna néhány felvételét is felhasználta a neurális hálózat képességeinek bemutatására. A tesztben egyebek mellett a Jelly Tennis videó is szerepelt, amelynek keretén belül egy teniszütővel mértek csapást egy kisebb méretű zselés-kocsonyás „labdára”, a mozdulatot pedig egy másodpercenként 25 000 képkockát rögzítő kamerával örökítették meg. Ezt a videót az Nvidia neurális hálózata további négyszeres lassításban is elkészítette, ami 100 000 FPS-es sebességnek felel meg.

A Super Slo Mo fejlesztése még zajlik, arról pedig egyelőre nincs hír, hogy mikor válik széles körben is elérhetővé.

Neked ajánljuk

    Tesztek

      Kapcsolódó cikkek

      Vissza az oldal tetejére