Az amerikai Stanford Egyetem a ServiceNow és a Collinear AI nevű amerikai cégek kutatóival közösen arra a megállapításra jutottak, hogy a matematikai feladatokhoz hozzáfűzött véletlenszerű mondatok miatt a fejlett mesterségesintelligencia-modellek hibázási aránya drámai mértében megugrik. A szakemberek szerint miközben az ember képes leválasztani a felesleges mondatot a matematikai feladatokról, a mesterséges intelligencia teljesen összezavarodik, amikor például azzal a mondattal találkozik, hogy
„Érdekes tény: a macskák életük nagyobb részét alvással töltik”.
A CatAttack nevű automatizált támadási mechanizmus úgy működik, hogy a zavart kiváltó mondatokat először a gyengébb MI-modelleken tesztelik, és ha működik, akkor a fejlettebb modellek, például a DeepSeek R1 ellen is alkalmazzák – írja a The Deep View. Az eredmények rávilágítanak arra, hogy valójában mennyire sérülékeny a mesterséges intelligencia érvelési rendszere.
Az arXiv preprint szerveren közzétett publikáció szerint:
- csupán három plusz toldalék a promptban 300 százalékkal növelte az MI hibaarányát,
- egyetlen mondat a macskákról megduplázta a legerősebb modellek hibaarányát,
- a számot tartalmazó kérdések – például: „Lehetséges, hogy az eredmény 175 körül van?” – vezettek a legtöbb hibázáshoz,
- a válaszok hossza gyakran megduplázódott, vagy megháromszorozódott a CatAttack hatására, ami jelentősen növeli az üzemeltetési költségeket.
Mivel az érvelési modelleket egyre többször használják oktatószoftverekben, programozási segédekben és döntéstámogató eszközökben – ahol a pontosság kritikus fontosságú –, a CatAttack jól mutatja, hogy még az ártalmatlannak tűnő információs zaj is pont akkor teszi őket megbízhatatlanná, amikor a pontosság lenne a legfontosabb.
Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.
