Ha valaki manipulálni tudja a mesterségesintelligencia-rendszerekbe táplált adatokat, akkor megzavarhatja annak működését. Például ha valaki tudja, és ennek megfelelően módosítja a MI-t, akkor egy adott típusú matrica elhelyezésével egy stoptáblán, gyakorlatilag láthatatlanná teszi a jelzést a MI számára. Vagy egy hacker olyan kódot telepíthet egy röntgenkészülékre, amely úgy változtatja meg a képi adatokat, hogy a gépi algoritmus pontatlan diagnózist állítson fel.

Ez csupán két kiragadott példa az Észak-Karolinai Állami Egyetem kutatóinak tanulmányából. Azt vizsgálták, hogy mennyire gyakoriak az ilyen típusú, úgynevezett ellenséges sebezhetőségek a mély neurális hálózatokban. Azt találtak, hogy ezek gyakoribbak, mint azt korábban gondolták.

Az ezeket a sebezhetőségeket kihasználó támadók, arra kényszeríthetik a mesterséges intelligenciát, hogy az adatokat úgy értelmezze, ahogyan azt a hackerek akarják. A stoptábla példájánál maradva: elhitethetik a MI-rendszerrel, hogy az egy zöld lámpa, és szabad az út. Az ilyen támadások pedig akár emberéletekbe kerülhetnek.

A kutatók a mély neurális hálózatok ellenséges sérülékenységeinek keresésére kifejlesztettek egy szoftvert. A QuadAttacKnak figyeli, hogy a betanításhoz használt adathalmaz alapján még „tiszta” döntéseket hozó MI-modell működésének figyelésével felismeri annak döntéshozatali mintázatait. Ezután manipulált adatokat kezd el küldeni a MI-rendszernek, hogy lássa, hogyan reagál a mesterséges intelligencia. Ha a QuadAttacK sebezhetőséget azonosít, gyorsan rábírhatja az MI-t, hogy bármit lásson, amit a QuadAttacK látni szeretne.

Koncepciójuk bizonyítására a kutatók négy mély neurális hálózatot teszteltek QuadAttacK segítségével: két konvolúciós neurális hálózatot (ResNet-50 és DenseNet-121) és két látástranszformátort (ViT-B és DEiT-S). Azért esett rájuk a választás, mert világszerte széles körben használják ezeket az MI-rendszerekben. Meglepődve tapasztalták, hogy mind a négy hálózat nagyon sebezhető volt az ellenséges támadásokkal szemben, és hogy nagy mértékben lehetett finomítani a támadásokat, hogy a hálózatok azt lássák, amit a kutatók szeretnének.

North Carolina State University

A kutatócsoport nyilvánosan elérhetővé tette a QuadAttacKot, hogy a kutatóközösségek maguk is felhasználhassák a neurális hálózatok sebezhetőségeinek tesztelésére. A következő lépésben meg szeretnék találni a lehetőségeket a sebezhetőség minimalizálására. Ehhez már van néhány lehetséges megoldásuk, de a végeredmény még várat magára.

Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.