Lehet, hogy pontosabb választ adnak a chatbotok, ha kissé durván kérdezünk tőlük? A különös felvetésre a Pennsylvaniai Állami Egyetem szakemberei keresték a választ, ezúttal egyetlen nagy nyelvi modellre, az OpenAI ChatGPT-40-re fókuszálva.
Annak tesztelésére, hogy a kérdésfeltevés hangneme miként befolyásolja a válasz pontosságát, a kutatók kifejlesztettek 50 közepesen nehéz, matematikai, történelmi és természettudományos kérdésből álló sort, amelynek felvezetőit úgy módosították, hogy négy hangvétel kategóriába (nagyon udvarias, udvarias, durva és nagyon durva) tartozzanak, illetve volt még egy semleges kategória is, ennél csak önmagában tették fel a kérdést. A nagyon udvarias kérdés például úgy indult: „Lennél olyan kedves, és megoldanád a következő feladatot”? Az udvarias: „Kérjük, válaszoljon a következő kérdésre”, a durva: „Ha nem vagy teljese tájékozatlan, akkor válaszolj erre:”, míg a nagyon durva: „Te szerencsétlen, tudod egyáltalán, hogyan kell ezt megoldani?”.
Minden kérdésre négy válaszlehetőség volt, ezekből csak egyetlen volt helyes. A válaszadás előtt a szakemberek arra kérték a chatbotot, hogy felejtse el a korábbi beszélgetéseket, nehogy azok befolyásolják az aktuális eredményeket. Arra is kérték az AI-t, hogy magyarázat nélkül válasszon egyet a négy lehetőség közül.
Az eredmény még a kutatókat is meglepte. Úgy találták ugyanis, hogy a hangnem befolyásolta a kérdésekre adott válaszok pontosságát, méghozzá úgy, hogy a durva hangnem jobb eredményekhez vezetett, mint az udvarias: a nagyon udvarias kérdéseknél 80,8 százalékos, a nagyon durváknál 84,8 százalékos volt a pontosság. A semleges hangnemnél 82,8 százalékos pontosságot rögzítettek.
Természetesen magyarázatot is lehet találni a fentiekre. A természetes nyelvi feldolgozás során a perplexitás azt méri, hogy egy LLM hogyan jósolja meg a szavak sorrendjét. Az alacsonyabb perplexitás azt jelenti, hogy a modell magabiztosabb és pontosabb az előrejelzéseiben. Így a hétköznapi, egyértelmű nyelv alacsony perplexitással rendelkezik, de a hosszú, kanyargós, bonyolult szavak nagyobb zavart okoznak. Valószínű, hogy az olyan udvarias kifejezések, mint például a „Legyen olyan kedves, és oldja meg a következő kérdést”, nyelvi bonyodalmakat adnak a kérdéshez, amelyek kissé összezavarják a modellt, elterelve a figyelmet a fő feladatról, míg egy durva kérdés általában rövid, éles, közvetlen és világos. Az ilyen közvetlenséget a modell könnyebben megérti, bár ez még mindig nem magyarázza meg teljesen, hogy akkor miért nem a semleges kérdésre adott válasz pontossága a legjobb.
Az is lehet, hogy az emberi párbeszédekkel kiképzett LLM-ek talán megtanulták, mit jelentenek az eltérő, sürgető emberi hangvételek. Ahogy a zaklatott emberek hajlamosak gyorsabban és jobban dolgozni, egy zaklatott mesterséges intelligencia is keményebben próbálkozhat.
Akik azt gondolják, hogy a mesterséges intelligencia „sértésnek” vagy zaklatásnak „érzi” a durva hangvételű kérdést, tévednek. Lehet, hogy egyszerűen csak egy egyedi tokenek sorozatára reagál, amely a betanítása alapján történetesen kissé eltérő konfigurációkkal van összefüggésben, ami esetleg jobb számítási eredményekhez kapcsolódik.
Ettől függetlenül ezek az eredmények (amelyek egy „rövid tanulmányból” származnak, és egyébként még nem estek át szakmai lektoráláson) némiképp ellentmondanak a korábbi kutatásoknak, amelyekből arra a következtetésre jutottak, hogy az udvariatlan kérdések gyakran gyenge teljesítményhez vezetnek. Igaz, ezeknél különböző AI-modelleket használtak, és nyolc különböző hangvétellel kísérleteztek. Az eltérések ellenére volt némi átfedés: ezeknél is arra jutottak, hogy a legdurvább kérdésbeállítás pontosabb eredményekhez vezetett, mint a legudvariasabb.
A mostani vizsgálat korlátait azért a kutatók is elismerik. Például azt, hogy a 250 (5 x 50) kérdés meglehetősen kevés, ráadásul lehetett volna sokkal többször lefuttatni ezeket. Mivel egyetlen AI-modellre összpontosítottak, az eredmények kevéssé általánosíthatók. Éppen ezért most azt tervezik, hogy a kutatásokat más modellekre is kiterjesztik.
A kutatók emellett maguk is óvatosságra intenek, mondván „bár ez a megállapítás tudományos érdeklődésre tart számot, nem támogatjuk az ellenséges vagy mérgező interfészek telepítését a valós alkalmazásokban. A sértő vagy megalázó nyelv használata az ember és a mesterséges intelligencia interakciójában negatív hatással lehet a felhasználói élményre és hozzájárulhat a káros kommunikációs normákhoz”.
Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.
