Egyre többen fordulnak valamilyen chatbothoz, például a ChatGPT-hez, ha a kérdésükre választ szeretnének kapni, hiszen a mesterséges intelligencia pillanatok alatt óriási adatkészleteket képes áttekinteni, és kiválasztani a legmegfelelőbb feleletet. Egy új tanulmány szerint viszont a szoftverfejlesztői kérdésekben nem érdemes ezt az utat követni – hívja fel a figyelmet a ZDNet.

Az MI chatbotok megjelenése előtt a tanácsra váró programozók általában a legnagyobb, legmegbízhatóbb online programozói közösséghez, a Stack Overflow-hoz fordultak. Olyannyira, hogy volt egy vicc is ezzel kapcsolatban: „Hogyan hívják azt a programozót, aki azt állítja, hogy nem használja a Stack Overflow-t? Hazugnak”. Itt azonban meg kell várni, hogy valaki válaszoljon a kérdésre, míg a ChatGPT-nél azonnali a válasz. Na de milyen minőségű ez a válasz?

Pexls/Sanket Mishra

Erre voltak kíváncsiak az indianai Purdue Egyetem munkatársai is, és 517 olyan kérdést tettek fel a ChatGPT-nek, amelyet a Stack Overflow-n már megválaszoltak. Ezután megvizsgálták a MI által adott feleletek pontosságát és minőségét. Mint kiderült, a ChatGPT válaszai közül 259 (52 százalék) helytelen volt, bár a válaszok jelentős pontatlansága ellenére az eredmények azt mutatták, hogy a válaszok az esetek 65 százalékában átfogóak voltak, és a kérdés minden aspektusára vonatkoztak.

A ChatGPT-válaszok minőségének további elemzése érdekében a kutatók 12, különböző szintű programozási szakértelemmel rendelkező résztvevővel is ellenőriztették a válaszokat. Bár a különböző kategóriákban általában előnyben részesítették a Stack Overflow válaszait a ChatGPT válaszaival szemben, azonban az esetek 39,34 százalékában nem ismerték fel a ChatGPT által generált helytelen válaszokat. A kutatók szerint a ChatGPT jól megfogalmazott „humanoid látásmódot tükröző” válaszai miatt hagyták figyelmen kívül a felhasználók a hibás információkat. A hihetően hangzó, helytelen válaszok generálása pedig minden chatbot esetében jelentős probléma, ugyanis lehetővé teszi a téves információk terjesztését.

A szoftverfejlesztők tehát maradjanak meg a Stack Overflow-nál – vonhatjuk le a következtetést, azonban a legfrissebb hírek szerint itt sem tudják majd kikerülni a mesterséges intelligenciát, igaz, itt azért kicsit más lesz a helyzet. Az elmúlt időszakban a Stack Overflow sokat veszített felhasználói bázisából, így most ennél az oldalnál is megpróbálják bevetni a MI-t. A vállalat ambiciózus terve ugyanis az, hogy integrálja nyilvános platformjába, a Stack Overflow for Teamsbe és az új termékterületekbe a generatív mesterséges intelligenciát. A cél az, hogy a több mint 58 millió közösségi kérdésből és válaszból származó tudást közvetlenül a fejlesztők munkaterületére irányítsák.

Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.