Gondolatban lejátszhatunk magunknak egy dalt, és biztosak lehetünk abban, hogy ezt senki sem hallja. Vagy mégis? A Kaliforniai Egyetem kutatói mindenesetre egy igazán érdekes kísérletről számoltak be a napokban: gépi tanuláson alapuló képes dekódolni az agyi tevékenységet, mármint abban az értelemben, hogy megszólaltathatja a Pink Floyd együttes The Wall című albumáról vett klasszikusát, az Another Brick in the Wallt.

Azzal, hogy a kutatók közvetlen emberi agykérgi felvételekből rekonstruálták az említett zeneszámot, betekintést nyújtanak a zeneészlelés idegi alapjaiba és a jövőbeli agyi dekódolási alkalmazásokba. Ez a rendszer, írják a Plos Biology folyóiratban, felhasználható lenne a jövőbeli agy-számítógép interfész (BCI) technológiáihoz, amelyben csupán az elme segítségével újrateremthetnék a zenét.

Kísérletükben az idegtudósok 2668 intracranialis EEG elektródát erősítettek 29, epilepszia miatt műtött páciens agyára, miközben azok az Another Brick in the Wall (Part 1.) című dalt hallgatták. A hallásfeldolgozásért és a ritmusérzékelésért kifejezetten az agy felső halántéki tekervényében (superior temporal gyrus, STG) elhelyezkedő elektródák a felelősek, és ezek szolgáltatták a legjobb adatokat a zene rekonstruálásához.

Plos Biology

Azt is megállapították, hogy minél több elektródaadatot tápláltak be a modellbe, annál pontosabban lehetett rekonstruálni a dalt. Szintén kiderítették, hogy az agy mely régiói és a dal mely részei a legfontosabbak a rekonstrukció szempontjából. A ritmushoz kapcsolódó elektródák eltávolítása például silányabbá tette a rekonstrukciót.

Míg a korábbi hasonló kísérletek az agy beszédmotoros kéregének elektromos aktivitását dekódolták (ez egy olyan terület, amely szabályozza az ajkak, az állkapocs, a nyelv és a gége apró izommozgását, amelyek szavakat alkotnak), a mostani vizsgálat az agy hallórégióiból származó felvételekre fókuszált, ahol a hang minden aspektusa fel van dolgozva.

Az alábbi videó elején (a 7. másodperctől a 13. másodpercig) azt hallhatja, ahogyan a kísérlet résztvevőinek lejátsszák a zenét, majd rögtön utána (16–22. másodpercek között) hallható, hogy a zene ismerete nélkül, csupán agyból kiolvasott jelek alapján mit rakott össze a mesterséges intelligencia.

A kutatók azért megjegyezték, hogy nem volt adatuk arról, hogy alanyaik mennyire ismerték a dalt, ami személyenként befolyásolhatja az eredményeket. Azt is elmondták, hogy a jövőbeli kísérletekben még több elektródát használhatnak, hogy jobban pásztázhassák az agyat.

A kísérletek nem öncélúak: az eredményeket felhasználhatják a természetes beszéd zeneiségének helyreállításánál a fogyatékos neurológiai állapotú betegeknél.

Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.