A mozgáskutatók számára igazi aranybányának bizonyuló rendszert egy neurológus házaspár, Mackenzie és Alexander Mathis fejlesztette ki. A program rendkívül egyszerűen használható: bármilyen mozgást tartalmazó videón automatikusan nyomon követi és felcímkézi a mozgó testrészeket néhány mintaként használt filmkocka alapján. Vagyis a szakértőknek csak pár állóképen kell megjelölgetniük a különböző mozgó ízületeket és végtagrészeket, és a rendszer onnantól kezdve magától megtalálja a ugyanezeket testrészeket a felvétel hátralevő részén és a hasonló videókon.
A DeepLapCut mindenfajta mozgás követésére gyorsan megtanítható, legyen szó táplálkozó rágcsálókról, versenylovakról, emberi táncosokról, vagy éppen egy ecetmuslica peterakásáról. Színes pöttyökkel jelöli meg a videón látható mozdulatok különböző összetevőit, megkönnyítve az elemzők számára annak követését, hogy egy bonyolultabb mozgássor közben melyik testrész hova kerül a többihez képest.
Az alábbi felvételen például egy rejtőzködő-képességéről ismert rovar, a természetes környezetében fentiláthatatlan Markia hystrix mozgását teszi tanulmányozhatóvá a rendszer. „Úgy vélem, hogy ez a módszer forradalmasíthatja a viselkedéskutatás minden területét, ideértve az idegkutatást és a pszichológiát is” – mondja Venkatesh Murthy, a Harvard M. hystrix-kutatója.
Az említett területek vizsgálatai ugyanis gyakran alapulnak videóra vett mozgások elemzésén. James Bonaiuto, egy francia szakértő például az emberi mozdulatokat igyekszik agyműködési mintázatokkal összekötni. A hasonló vizsgálatokhoz a múltban először hosszadalmas munkával képkockáról képkockára kódolni kellett a felvételeket, mielőtt megkezdődhetett volna az elemzés. A DeepLabCut révén ez a munkafolyamat gyakorlatilag automatizálódhat, leegyszerűsítve a munkát.
Egy izraeli szakértő ugyanakkor egészen más célra, jobb sebészrobotok fejlesztéséhez használja a szoftvert. Ilana Nisky azt elemzi a programmal, hogyan mozog a tű, miközben az emberi sebészek különféle varratokat hoznak létre, hogy ennek révén aztán ügyesebb sebészrobotokat lehessen kreálni.
A Mathis házaspár szükségből állt neki a rendszer fejlesztésének. Egereken kutatták a szaglást, pontosabban azt, hogyan követnek a rágcsálók szagnyomokat. Ehhez azonban jól láthatóvá kellett tenni az állatok orrának aprócska hegyét a felvételeken, ami a hagyományos módszerekkel nem volt megoldható. Hasonló esetekben a szakértők gyakran jelölik meg fényes pöttyökkel a testrészt, amely érdekli őket, az egerek orra azonban túl apró és érzékeny volt ehhez. Miután évekig hiába szenvedtek a létező elemzőszoftverekkel, Mathisék nekiláttak saját programot fejleszteni a célra.
A végeredményül kapott DeepLabCut egy emberi testtartások elemzésére szolgáló neurális hálózat, a DeeperCut erősen módosított változata. A rendszert egy óriási online képadatbázison „edzették”, hogy az felismerje az alapvető objektumokat. Erre építve pedig jó esetben pár tucat, rosszabban pár száz képkocka felcímkézésével bárki megtaníthatja a programot azon mozgások követésére, amelyek saját kutatási területe számára érdekesek. Így a rendszer gyorsan megtanulja felismerni egy rágcsáló mancsának különböző részeit vagy egy hal uszonyait.
A szoftver ingyenesen hozzáférhető és ahogy egyre többen használják, egyre okosabbá is válik. És ahogy telik az idő, egyre több olyan területen is bevetik azt, amit a fejlesztők sem láttak előre. Egy cég például versenylovak teljesítményének előre jelzésére akarja használni a rendszert, de rengeteg érdeklődés van az emberi sportiparból is.
