Hazudik a mesterséges intelligencia, de nagyobb baj, hogy nem tudják fegyelmezni

A legilletékesebb hívta fel a figyelmet a mesterséges intelligencia egyik formájának, az emberi beszélgetéseket imitáló chatbotoknak egyik nagy problémájára: az OpenAI mondta el véleményét hazudozásukkal kapcsolatban. A chatbotok ugyanis hajlamosak elferdíteni a valóságot. Bár arra van kiképezve, hogy hiteles szövegeket állítsanak elő, azonban a mondataik olykor kitalált információkat is tartalmazhatnak. Ráadásul az OpenAI kutatói úgy gondolják, hogy az úgynevezett „rossz gondolatok” megbüntetése nem akadályozza meg a helytelen viselkedés legtöbbjét, inkább arra készteti a chatbotokat, hogy elrejtsék a szándékukat.

A kutatók nemrég írták le, hogy a GPT-4o modellt használták egy másik nagy nyelvi modell felügyeletére, fegyelmezve azt, ha hazudni próbált. Azonban kiderült, a modell továbbra is hazudott, viszont időközben megtanulta elrejteni szándékait az úgynevezett gondolati láncban (Chain of Thought, CoT).

A gondolati lánc gondolkodási modelljei természetes nyelven „gondolkodnak”, amelyet az ember érthet. „Gondolkodásuk” megfigyelése lehetővé tette a kutatók számára, hogy észleljék a helytelen viselkedést, például a kódolási feladatok során végzett tesztek felforgatását, a felhasználók megtévesztését vagy a feladást, ha egy problémát túl nehéznek találtak.

Úgy gondolják, hogy e gondolati lánc figyelése lehet egyike azon kevés eszköznek, amellyel a jövő modelljeit felügyelhetik. Azt találták továbbá, hogy a CoT közvetlen optimalizálása, hogy megfeleljen bizonyos kritériumoknak, rövid távon javíthatja a teljesítményt, azonban nem szüntetheti meg az összes helytelen viselkedést, és végül a modell elrejtheti a szándékát. Remélik, hogy a jövőbeli kutatások megtalálják a módját a CoT közvetlen optimalizálásának az említett hátrányok nélkül. Addig is azt javasolják, hogy a fejlesztők, annak érdekében, hogy korlátlanul megfigyelhessék modelljeiket, ne próbálják erősen optimalizálni ezeket.

Mindezzel az OpenAI kutatói tulajdonképpen azt mondják, hogy több tízmilliárd dolláros befektetés után még mindig nem tudják, hogyan irányítsák a MI-modelleket, hogy azok megfelelően viselkedjenek. Mindez egyúttal egy figyelmeztetés is azzal kapcsolatban, hogy érdemes fenntartásokkal kezelni a chatbotok válaszait, különösen a kritikus munkák esetében. Jelenleg ugyanis úgy vannak optimalizálva, hogy magabiztosnak tűnő válaszokat adnak, de nem törődnek túl sokat a ténybeli pontossággal.

Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának tudományos felfedezésekről is hírt adó Facebook-oldalát.