Hamarosan megeshet, hogy a használt chatbot egyszerűen annyit mond majd: „nem tudom”. És ez igazából jó dolog.
Sokszor erény, ha az ember inkább beismeri, hogy nem tud valamit, és nem kezd a megfelelő tudás hiányában beszélni valamiről. Sajnos ezt a képességet még nem igazán tudta elsajátítani a mesterséges intelligencia, így esetenként akkor is válaszol, amikor bizonytalan, vagy nem tud valamit. Az eredmény: egy potenciálisan rossz válasz.
A Johns Hopkins Egyetem informatikus-hallgatói azonban úgy vélik, találtak egy megoldást a problémára, amivel az MI-k többet időzhetnek a problémák átgondolásával – sőt, egyfajta megbízhatósági pontszám azt is segíthet eldönteni, hogy az MI-nek mikor lenne érdemes azt mondani, hogy „nem tudom”. Ahelyett, hogy megkockáztatna egy rossz választ. Ami egy focimeccs eredményeinél még csak bosszúságot okozhat, de mondjuk az orvostudomány vagy a jog területén elég komoly problémákhoz vezethet.
A kutatók az arXiv preprint szerveren publikálták a munkájukat. „Az egész azzal kezdődött, amikor láttuk, hogy a legfejlettebb nagy nyelvi modellek többet gondolkodnak, hogy megoldják a nehezebb problémákat” – mondja William Juray PhD-hallgató, a tanulmány első szerzője. Mint megjegyzi: ezután elgondolkodtak azon, hogy ez az extra gondolkodási idő segíthet-e ezeknek a modelleknek meghatározni, hogy az adott problémát helyesen oldották-e meg. És ezt aztán vissza is tudják jelezni a felhasználónak.
Hogy jobban kivizsgálhassák a dolgot, a kutatók nagy nyelvi modellekkel különböző hosszúságú érvelés-láncokat generáltatott, miközben nehéz matematikai problémákat oldottak meg. Ezt követően megmérték, hogy a lánc hossza miként volt hatással a modell végső válaszára, valamint a végső magabiztosságára.
Mint kiderült, az „általánosabb” gondolkodás javít a modellek pontosságán és magabiztosságán is, ugyanakkor még sok gondolkodás mellett is hajlamosak a vad találgatásokra, főleg a pontatlan válaszokért járó „büntetések” nélkül. Amikor pedig magasabbra tették a magabiztosság mércéjét, és hagyták tovább gondolkodni őket, a pontosság csökkent.
Ez – vélekedik Juray – azért történhet, mert a válaszok pontossága csupán egy része a rendszer teljesítményének. Ha nagyobb megbízhatóságot várnak el, és a rendszert hagyják tovább gondolkodni, akkor az több helyes és helytelen választ fog visszaadni. Bizonyos beállítások között a több helyes válasz megéri a „kockázatot”, de sok területen ez nem így van.
A fenti megállapítások farvizén a csapat három különböző beállítást tesztelt:
A kutatók úgy találták, szigorúbb környezetben a modellnek vissza kell utasítani a kérdés megválaszolását, ha nem elég magabiztos abban. Magasabb magabiztosság mellett ez azt jelenti, hogy több kérdés marad válasz nélkül, de ez nem okvetlenül rossz – húzza alá a TechXplore.
„Egy diákot kicsit bosszanthat, hogy 10 percet kellett várnia, hogy rájöjjön: neki kell megoldania azt a matematikai problémát, mert az MI bizonytalan. A nagy kockázatú környezetben azonban ez sokkal jobb, mint öt percet várni egy válaszra, ami helyesnek tűnik, de közben nem az” – mondja Juray.
A szakemberek most arra bíztatják a kutatóközösséget, hogy alkalmazzák a megállapításaikat és módszereiket.
Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.
Először olvasható magyarul a holokauszttúlélő író és Nobel-békedíjas emberi jogi aktivista Elie Wiesel Éjszaka trilógiájának mindhárom kötete. Miért kellett 2025-ig várni a harmadik kötet megjelenésére? Miben más a holokauszttúlélők harmadik generációja, mint a korábbiak? Miről adnak számot Wiesel regényei?
Az atomerőműben súlyos a kár, de sugárveszély egyelőre nincs. Akkor minden rendben? Egyáltalán nem.
Phenjan kész feltétel nélkül támogatni az ukrajnai inváziót.
Az Oroszország-szakértő szerint a kormánymédia „teljesen nyilvánvalóan hergel és uszít”.
Eltűnésekor hawaii mintás inget viselt.
Egy sárkányszörfös jókor volt jó helyen.
Pontosan úgy működik, mint a légvédelmi rendszerek.
