Több tucat kérdést tettek fel az MI-nek és különböző tudásszinten lévő szemésznek, hogy kiderüljön, ki vagy mi a jobb. Az eredmények alapján a technológia ígéretes, de azért ennél némileg bonyolultabb a képlet.
A mesterséges intelligencia folyamatosan fejlődik, és egyre több területre teszi be a lábát. A kezdetektől fogva téma – és számos vizsgálat alapja –, hogy egyszer az orvosokat is kiválthatja a technológia, legalábbis segítheti az orvostudományt. Jelen állás szerint azonban felemás a kép; van, hogy kicsit jobban teljesít az orvosi feladatsorok felett, és van, hogy igen rosszul.
Most a Cambridge-i Egyetem orvosi iskolája járt utána annak, hogy a különböző nyelvi modellek hogyan teljesítenek a szemészeti vizsgálatok terén. Mint kiderült: a ChatGPT fizetős verziója mögött is álló, OpenAI-féle GPT-4 (tavalyi verziója) majdnem olyan jól teljesít a területen, mint a hús-vér szakemnerek.
A PLOS Digital Health folyóiratban publikált tanulmányban a kutatók összesen 87 feleletválasztós kérdést szegeztek olyan nyelvi modelleknek, mint a Meta LLaMA, a Google PaLM 2, vagy a már említett GPT-4 régebbi, a ChatGPT ingyenes változatát kiszolgáló GPT-3.5.
A kérdéseket öt képzett szemész, három gyakorló szemész szakorvos, és két, még nem szakosodott fiatal orvos elé is letették. Olyan tankönyvből származtak a kérdések, melyek nem nyilvánosak, így a kutatók szerint a nyelvi modelleket nem is képezhették belőle – így nem rendelkeztek ismeretekkel ebből a tankönyvből.
Ami az eredményeket illeti, a GPT-4 magasabb pontszámot ért el, mint a gyakorló és a fiatal orvosok – 60 helyes választ adott a 87-ből. A szakképzett orvosok átlagosan 66,4 helyes választ adtak, amivel le tudták gyűrni a mesterséges intelligenciát.
A PaLM 2 modell 49, míg a GPT-3.5 42 helyes választ adott, az utolsó helyre pedig az LLaMa került 28 ponttal – az eredményeket a Financial Times összegezte elsőként.
Azt ugyanakkor érdemes szem előtt tartani, hogy a kísérleteket 2023 közepén végezték (a tanulmányt azonban csak most publikálták), így az is elképzelhető, hogy azóta jobbak lettek a nyelvi modellek.
Az aggályok és kockázatok azonban nem kerülik el ezeket a megállapításokat sem; korlátozott volt a kérdések – és az érintett témák – száma, így érdemes bizonyos tekintetben fenntartással kezelni az eredményeket. Elég csak megemlíteni az MI-kre jellemző „hallucinációk” problémáját, vagy hogy kitalálnak nem létező dolgokat.
Az sem valószínű, hogy a szemészeknek néhány éven belül más állás után kéne nézniük: a mesterséges intelligencia inkább lehet egy hasznos segédeszköz, mint egy, a szakembereket teljesen kiváltó technológia.
Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.
Élhetnek-e együtt valaha az izraeliek és a palesztinok? Mit gondol egy izraeli katona arról, akik nem akarják a gázai háborút? Földes András izraeli videóriportja erre is rákérdez, és azt is megmutatja, hogy milyen háború zajlik maguk az izraeliek között.
A több mint félmillió gépelt oldalnyi szöveg az Arcanum sajtóadatbázisában is megjelent.
Az ukrán dróntámadások pedig az orosz polgárok türelmét is tesztelik.
Azt nem tudtuk meg, hogy ki, hol és mikor jelenti be az eredményt.
Hideg ételre lehet majd költeni az utalványt, pénzre nem váltható át.
