Hanghatásokat jósol meg az MIT új algoritmusa

Az új rendszer képes arra, hogy néma videofelvételekhez megtévesztően valóságos hangaláfestést szimuláljon.

Hanghatásokat jósol meg az MIT új algoritmusa

Ahhoz, hogy a robotok képesek legyenek irányítás nélkül boldogulni a világban, fel kell tudniuk mérni környezetüket, és képesnek kell lenniük arra, hogy megjósolják, egy bizonyos eseménysor milyen következményekkel járhat. Az emberek ezeket készségeket tárgyak tapintása, mozgatása, nézése és nem utolsó sorban hallgatása révén sajátítják el. Az MIT kutatóiban pontosan ennek kapcsán merült fel az, hogy talán a gépeket is meg lehet tanítani ezzel a módszerrel bizonyos események végkimenetelének megjóslására.

A mesterséges intelligenciák kutatásával foglalkozó CSAIL labor munkatársai ezt meg is tették, majd látványosan tesztelték, az általuk fejlesztett algoritmust. A program képes volt arra, hogy néma videoklipekhez (amelyeken különböző objektumokat értek ütések) olyan hangokat hozzon létre, amelyek alkalmasak voltak az emberi hallgatók megtévesztésére is.

Amikor végighúzzuk az ujjunkat egy borospohár peremén, a képződő hang magassága a folyadékmennyiségtől fog függeni, mondja Andrew Owens, a kutatás vezetője. A szakértő magyarázata szerint az algoritmus hasonló módon lehet használható arra, hogy a szimulált hang alapján megítélhető legyen egy-egy objektum alakja, anyaga és az azt ért mechanikai hatás jellege is.

A csapat gépi tanulással érte el célját, vagyis programjukat egy hatalmas adathalmazzal ismertették meg, amelyben a rendszer aztán maga igyekezett mintázatokat felfedezni. Ehhez durván 1000 videót és ezeken belül 46 ezer hanghatást tápláltak be a rendszerbe a kutatók. A felvételeket maguk készítették el, és ezeken különböző anyagú, formájú és nagyságú tárgyakat ütöttek, karcoltak és böködtek meg egy dobverővel. Az algoritmus elemezte, hogy az egyes események képkockákra bontott szakaszai során pontosan milyen hanghatás tapasztalható.

Amikor a rendszer elkészült az elemzéssel, hasonló videókat mutattak meg neki, de ezúttal hangok nélkül. A hanghatás szimulálása az algoritmus feladata volt, amely ismét apró egységekre bontotta fel a látottakat, majd minden egyes szakaszhoz megkereste adatbázisában az arra akusztikailag a leginkább hasonlító szituációt, és a hangmintákból egy koherens hanghatást fűzött össze. A rendszer várakozásokon felüli minőségben szimulált olyan hangokat, mint például egy sziklán zajló dobpergés, vagy egy puha tárgy ütögetése.

A létrehozott hanghatások realisztikusságát egy online teszttel mérték fel a kutatók. Ennek során részben az eredeti hanggal, részben pedig a szimulált hanganyaggal láthattak a résztvevők különböző eseményeket, és azt kellett eldönteniük, hogy melyik a valódi hanghatás. Az eredmények a szakértőket is meglepték, az alanyok ugyanis nagy százalékban választották ki a szimulált hangot a valódi helyett, különösen az olyan esetekben, ahol „kevert” hangokat hallottak, például a kutatók a dobverővel leveleket vagy a puszta földet ütöttek, nem pedig fát vagy fémet.

Az algoritmus a hangszimuláláson kívül arra is képessé vált a gépi tanulás eredményeként, hogy az ütés hangja alapján nagy biztonsággal megállapítsa az objektum egyes anyagi jellemzőit. A rendszer ugyanakkor még korántsem tökéletes. Ha a dobverő nagyon rendszertelenül mozgott a néma képeken, az algoritmus hajlamos volt ütéseket „hallucinálni” oda is, ahol ezek nem is történtek meg. A program ráadásul egyelőre csak a vizuális hatásra bekövetkező hangokkal bír el, vagyis csak azokkal, amelyek látható fizikai hatásra következnek be. A környezetben azonban rengeteg „láthatatlan” forrású hang is akad a szél zúgásától kezdve a laptop duruzsolásáig, amelyek szintén nagyban befolyásolják, hogyan mérjük fel környezetünket mondja Owens.

Tesztek

{{ i }}
arrow_backward arrow_forward
{{ content.commentCount }}

{{ content.title }}

{{ content.lead }}
{{ content.rate }} %
{{ content.title }}
{{ totalTranslation }}
{{ orderNumber }}
{{ showMoreLabelTranslation }}
A komment írásához előbb jelentkezz be!
Még nem érkeztek hozzászólások ehhez a cikkhez!
Segíts másoknak, mond el mit gondolsz a cikkről.
{{ showMoreCountLabel }}

Kapcsolódó cikkek

Magazin címlap arrow_forward