Olyanok a szoftverek, mint a gyerekek: mindketten tévéből tanulnak

Patrick Buehler és Andrew Zisserman, az Oxfordi Egyetem kutatói azt vizsgálták, képes-e egy szövegelemző szoftver videofelvételből megtanulni a brit jelbeszédet. A kutatók először egy algoritmust terveztek, amely révén a számítógép felismerte a jeltolmács gesztusait: a karok pozíciójából megállapította, hogy a képen hol lesznek a kezek, majd a bőrszínű képpontok pozíciójából megállapította, hogy pontosan milyen kéztartás látható éppen a felvételen.

Amikor a kutatók már biztosak voltak abban, hogy a szoftver képes azonosítani a különféle gesztusokat, 10 órányi tévéfelvételt kezdtek el vele elemezni - amin jeltolmács és felirat egyszerre volt látható, majd azt a feladatot tűzték ki számára, hogy tanuljon meg 210 főnevet és melléknevet. A program elemezte az egyes szavakat kísérő jelbeszéd-elemeket, majd hozzákötötték azt a felirat egyes szavaihoz. Ha nem volt biztos, hogy a jelbeszéd melyik része kötődik a leírt szóhoz, a rendszer megvizsgálta, hol fordul elő a szó, majd összehasonlította azon elemeket, hogy pontosíthasas a mozdulat és a szó közötti kapcsolatot. Mindezen módszerrel a rendszer pontosan megtanult 136 szót, a kitűzött feladatot 65 százalékra teljesítve ezzel. A kutatók szerint mindez meglepően magas értéknek számít, mivel egyes szavaknak a szövegkörnyezettől függően különböző jelölései vannak.

Hasonló módszert alkalmazott Helen Cooper és Richard Bowden is a Surreyi Egyetemen végzett kutatások során is, az ő megoldásuk azonban pontosabb eredményeket hozott - kevesebb adat felhasználásával. Szoftverük ugyanis a vizsgált videofelvétel minden egyes jelét végigelemezte, összesítette, hogy melyek a gyakran ismétlődők, majd ezen jeleket összevetette a feliratokkal. Mindezen megoldással gyorsan lehet nagy adathalmazokat feldolgozni.