Patrick Buehler és Andrew Zisserman, az Oxfordi Egyetem kutatói azt vizsgálták, képes-e egy szövegelemző szoftver videofelvételből megtanulni a brit jelbeszédet. A kutatók először egy algoritmust terveztek, amely révén a számítógép felismerte a jeltolmács gesztusait: a karok pozíciójából megállapította, hogy a képen hol lesznek a kezek, majd a bőrszínű képpontok pozíciójából megállapította, hogy pontosan milyen kéztartás látható éppen a felvételen.
Amikor a kutatók már biztosak voltak abban, hogy a szoftver képes azonosítani a különféle gesztusokat, 10 órányi tévéfelvételt kezdtek el vele elemezni - amin jeltolmács és felirat egyszerre volt látható, majd azt a feladatot tűzték ki számára, hogy tanuljon meg 210 főnevet és melléknevet. A program elemezte az egyes szavakat kísérő jelbeszéd-elemeket, majd hozzákötötték azt a felirat egyes szavaihoz. Ha nem volt biztos, hogy a jelbeszéd melyik része kötődik a leírt szóhoz, a rendszer megvizsgálta, hol fordul elő a szó, majd összehasonlította azon elemeket, hogy pontosíthasas a mozdulat és a szó közötti kapcsolatot. Mindezen módszerrel a rendszer pontosan megtanult 136 szót, a kitűzött feladatot 65 százalékra teljesítve ezzel. A kutatók szerint mindez meglepően magas értéknek számít, mivel egyes szavaknak a szövegkörnyezettől függően különböző jelölései vannak.
Hasonló módszert alkalmazott Helen Cooper és Richard Bowden is a Surreyi Egyetemen végzett kutatások során is, az ő megoldásuk azonban pontosabb eredményeket hozott - kevesebb adat felhasználásával. Szoftverük ugyanis a vizsgált videofelvétel minden egyes jelét végigelemezte, összesítette, hogy melyek a gyakran ismétlődők, majd ezen jeleket összevetette a feliratokkal. Mindezen megoldással gyorsan lehet nagy adathalmazokat feldolgozni.
Olyanok a szoftverek, mint a gyerekek: mindketten tévéből tanulnak
TV-műsorokat nézve tanulta meg a jelbeszéd alapjait két brit szoftver is, egymástól függetlenül. A megoldás titka: a tévéfelvételeken nem csak feliratok láthatóak, hanem jeltolmácsok fordításai is. Mindezek tökéletes alapot adtak a szoftvereknek, írta a New Scientist.
Lemondott a Honvédelmi Minisztérium helyettes államtitkára
Meg is van a paksi atomerőmű új vezérigazgatója
Kapitány István kirúgta a paksi atomerőmű vezérigazgatóját
Sárvári Nicholas: Miért maradt az erdőben az elásott pénz és hová juthatott volna el?
Tudja, mi az igazi lifehack? A mozgássnack
Velkey: Szijjártóék kiemelt bánásmódot kértek Orbán Áron cégeinek a vietnámi konzulátusoktól
Jensen Huang megtiszteltetésnek venné, ha visszahívnák az Nvidia élére
Gyanús halálesetek miatt exhumálták négy nő holttestét Dunapatajon, egyiküket megölhették
Mind a négy nőről azt állapították meg a haláluk után, hogy természetes módon hunytak el. Egy férfit már kihallgattak emberölés miatt.
Vajon miről posztoltak a fideszesek a tavalyi Munkács elleni orosz támadás után?
Varga Mihály: Nyáron már vizsgálta az MNB, hogy mivel járna lecserélni a nagy címletű bankjegyeket
Lehet-e egyszerre valaki Batman és James Bond?
„Régebben én is szégyelltem” – naponta százezernél többen kérnek és kapnak ételt népkonyhákon
Leváltották a TV2 Híradó főszerkesztőjét
A döntést a hírigazgatóság működésének finomhangolásával magyarázták.
Mire képes a Roborock egyszerre porszívózó és felmosó állóporszívója?
Támadás érte, összeomlott a Krími híd egy szakasza
A kercsi híd állapotáról Moszkva még nem közölt részleteket, ám a felvételek alapján komoly károkra lehet következtetni.