A mesterséges intelligencia kapcsán gyakran hallani, hogy bármennyire is ügyes a technológia, a kreativitás belátható időn belül továbbra is az ember privilégiuma marad. A Montréali Egyetem kutatói azonban egy nagyszabású vizsgálat során arra jutottak, hogy a vezető generatív nyelvi modellek ma már meghaladhatják az átlagos emberi teljesítményt a nyelvi kreativitást vizsgáló tesztek esetében.
A vizsgálat során a szakemberek a gépi és emberi kreativitás eddigi legnagyobb összehasonlító értékelését végezték el. A csapat összehasonlította a vezető AI-modellek eredményeit 100 000 emberi résztvevő válaszaival egy szabványosított pszichológiai kreativitási teszt segítségével, és azt találta, hogy a legjobb modellek már most felülmúlják az átlagos ember teljesítményét, bár még mindig jelentősen elmaradnak a legjobbak teljesítményétől. Az eredményeket a Scientific Reports című tudodmányos folyóiratban pulbikálták.
https://hvg.hu/tudomany/20241209_openai-chatgpt-o1-mesterseges-intelligencia-hazudozas
Az úgynevezett Divergent Association Task (DAT) módszer során a résztvevőknek 10 szót kellett leírniuk, amelyek a jelentésükben a legmesszebb állnak egymástól. A kutya és a könyv például ilyenek, a kutya és a macska viszont már nem. A módszer lényege, hogy a pszichológusok szerint a kreatívabb emberek könnyebben össze tudják kapcsolni a távoli elemeket az elméjükben – és ez az, amit ez a módszer tesztel. Minél nagyobb az átlagos szemantikai távolság a szavak között, annál magasabb pontszámot kap az illető.
A kutatóknak azért esett a választásuk épp erre a tesztre, mert gyorsan kitölthető, így könnyen magasabb számú résztvevőt tudnak bevonni a vizsgálatba. Ennek köszönhetően összesen 100 ezer ember töltötte ki a DAT-tesztet.
Az eredmény meglepte a szakembereket. Karim Jerbi, a tanulmány vezető szerzője szerint az OpenAI GPT-4, a Google Gemini Pro 1.5, valamint a Meta Llama 3 és Llama 4 mind felülmúlta az átlagos emberi teljesítményt. Amikor azonban az emberi résztvevők felső 50 százalékának átlagos teljesítményét mérték, az minden tesztelt modellt felülmúlt. A különbség tovább nőtt, amikor az emberek felső 25 és felső 10 százalékának átlagát vették figyelembe.
https://hvg.hu/tudomany/20240415_altalanos-mesterseges-intelligencia-gep-legyozi-az-embert-meta-yann-lecun
A kutatók arra is kíváncsiak voltak, hogy ezek az eredményül kapott pontszámok más, összetettebb feladatok esetében is nagyobb kreativitást jelent-e, ezért a modelleket például haikuk és filmes cselekményszinopszisok generálására is rávették. A kimeneteket a Divergent Semantic Integration (DIS) nevű mérőszám segítségével elemezték, amely a narratívába integrált ötletek sokféleségét becsüli meg. Bár a modellek viszonylag jól teljesítettek, a csapat azt találta, hogy az ember által írt minták még mindig jóval kreatívabbak voltak, mint amit az AI tett le az asztalra.
A csapat ugyanakkor arra is rájött, hogy néhány egyszerű módosítással fokozni lehet a gép kreativitását. Az első a temperature (hőmérséklet) nevű modellbeállítás módosítása volt, amely a modell kimenetének véletlenszerűségét szabályozza. Amikor ezt a GPT-4-en teljesen feltekerték, a modell az emberek 72 százalékánál teljesített jobban.
A kutatók azt is megállapították, hogy a modellhez adott prompt gondos finomhangolása is változtatott az eredményeken. Amikor kifejezetten arra utasították az algoritmusokat, hogy „változó etimológiára támaszkodó stratégiát” használjanak, mind a GPT-3.5, mind a GPT-4 jobban teljesített, mint amikor az eredeti, kevésbé specifikus feladatpromptot kapták.
A tudósok úgy látják: az ember és a gép között még mindig van szakadék a kreativitás terén, de a mostani eredmények azt mutatják, az algoritmusok fejlettségét nem lehet félvállról venni.
Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.
