A szemünkkel látunk, a fülünkkel hallunk, vagy a fülünkkel is láthatunk? Ez utóbbi természetesen nem igaz, viszont a Washingtoni Egyetem kutatóinak ötlete – átvitt értelemben – a fülnek is kölcsönöz egyfajta látási képességet.
A VueBuds névre keresztelt megoldásban apró kamerákat ágyaztak be kereskedelmi forgalomban kapható vezeték nélküli, Sony fülhallgatókba, ami lehetővé teszi a felhasználók számára, hogy egy mesterséges intelligencia által vezérelt modellel beszélgessenek arról, ami előttük van. Természetes nyelvi lekérdezések válhatnak így lehetővé a mindennapi vizuális feladatokhoz, például a termékek megtalálásához egy üzletben, tárgyak azonosításához, jelenetszintű leírások beszerzéséhez és idegen szövegek értelmezéséhez.
Ezek a bluetoothos fülhallgatók szemcsés fekete-fehér fotókat készítenek, majd feltöltik azokat a telefonra. Ezután egy apró, az eszközön elhelyezett mesterséges intelligencia modell körülbelül egy másodperc alatt képes válaszolni a látottakkal kapcsolatos kérdésekre. Az adatvédelem érdekében minden feldolgozás helyben történik, és a felhasználók bármikor törölhetik a képeket.
„Kevés embert látunk okosszemüveget vagy VR-headsetet viselni, nemcsak ezek esetleges kényelmetlensége, hanem adatvédelmi aggályok miatt is, amelyek nagy felbontású videók rögzítését és a felhőben történő feldolgozást kísérik. Viszont fülhallgatót rendkívül sokan viselnek, ezért szerettük volna megnézni, hogy be tudjuk-e építeni a vizuális intelligenciát ezekbe az apró, alacsony fogyasztású eszközökbe úgy, hogy közben az adatvédelmi aggályokat is kezeljük” – mondta Shyam Gollakota, a UW professzora és az ACM Digitális Könyvtárban megjelent, az eszköz felépítését és működését részletező tanulmány vezető szerzője.
Az egyedi kameramodul (balra) közvetlenül a fülhallgató akkumulátoráról működik, a 3D nyomtatott házak (jobbra) pedig lehetővé teszik az előre néző felvételkészítést
ACM Digitális Könyvtár
Mivel a nagyfelbontású kamerák és a hosszú videófelvételek túl sok energiát fogyasztanának a fülhallgatóban, a kutatók egy miniatürizált „rizsszem” méretű kamerát választottak, amelyik alacsony felbontású fekete-fehér állóképeket készít, és elég könnyű ahhoz, hogy Bluetoothszal és akkumulátoron keresztül is bírja. Ezek a kamerák körülbelül 5-10 fokos szögben dőlnek kifelé, így a VueBuds szinte mindent rögzít, ami a felhasználó előtt van, csupán egy kis holtteret hagy a 20 centinél közelebbi tárgyak számára. Ezt a távolságot viszont az emberek ritkán használják.
A VueBudsot tesztelték is a felhasználók körében. Először 74 főt vontak be, náluk a füles alacsony felbontású, ám privát állóképei ugyanolyan jól teljesítettek, mint a Ray-Ban Meta szemüvegek, amelyeket több felhőalapú, nem privát tárolásra szolgáló rendszer működtetett. Fordítási feladat esetén a felhasználók a VueBudsot részesítették előnyben, míg a Ray-Ban szemüvegek jobban teljesítettek az objektumok számlálásában. Egy másik, 16 tesztelő bevonásával végzett vizsgálatban a VueBuds 83–84 százalékos pontosságot ért el a mindennapi fordítási és tárgyfeladatokban, valamint 93 százalékot a könyvcímek és szerzők azonosításában – írja a TechExplorist.
Mint említettük, a kamerával megerősített fülhallgató egyelőre csak fekete-fehér képeket rögzít, azaz nem tud színekkel kapcsolatos kérdéseket kezelni. A kutatók most azon dolgoznak, hogy színes kamerát adjanak hozzá, bár az ilyen eszközöknek nagyobb teljesítményre van szükségük. A tervek között szerepel még speciális AI-modellek betanítása olyan feladatokra, mint a fordítás.
https://www.youtube.com/watch?v=VWioSylTjjo
Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.
