A mesterséges intelligencia folyamatosan fejlődik, és egyre több területre teszi be a lábát. A kezdetektől fogva téma – és számos vizsgálat alapja –, hogy egyszer az orvosokat is kiválthatja a technológia, legalábbis segítheti az orvostudományt. Jelen állás szerint azonban felemás a kép; van, hogy kicsit jobban teljesít az orvosi feladatsorok felett, és van, hogy igen rosszul.

Most a Cambridge-i Egyetem orvosi iskolája járt utána annak, hogy a különböző nyelvi modellek hogyan teljesítenek a szemészeti vizsgálatok terén. Mint kiderült: a ChatGPT fizetős verziója mögött is álló, OpenAI-féle GPT-4 (tavalyi verziója) majdnem olyan jól teljesít a területen, mint a hús-vér szakemnerek.

A PLOS Digital Health folyóiratban publikált tanulmányban a kutatók összesen 87 feleletválasztós kérdést szegeztek olyan nyelvi modelleknek, mint a Meta LLaMA, a Google PaLM 2, vagy a már említett GPT-4 régebbi, a ChatGPT ingyenes változatát kiszolgáló GPT-3.5.

A kérdéseket öt képzett szemész, három gyakorló szemész szakorvos, és két, még nem szakosodott fiatal orvos elé is letették. Olyan tankönyvből származtak a kérdések, melyek nem nyilvánosak, így a kutatók szerint a nyelvi modelleket nem is képezhették belőle – így nem rendelkeztek ismeretekkel ebből a tankönyvből.

Ami az eredményeket illeti, a GPT-4 magasabb pontszámot ért el, mint a gyakorló és a fiatal orvosok – 60 helyes választ adott a 87-ből. A szakképzett orvosok átlagosan 66,4 helyes választ adtak, amivel le tudták gyűrni a mesterséges intelligenciát.

A PaLM 2 modell 49, míg a GPT-3.5 42 helyes választ adott, az utolsó helyre pedig az LLaMa került 28 ponttal – az eredményeket a Financial Times összegezte elsőként.

Azt ugyanakkor érdemes szem előtt tartani, hogy a kísérleteket 2023 közepén végezték (a tanulmányt azonban csak most publikálták), így az is elképzelhető, hogy azóta jobbak lettek a nyelvi modellek.

Az aggályok és kockázatok azonban nem kerülik el ezeket a megállapításokat sem; korlátozott volt a kérdések – és az érintett témák – száma, így érdemes bizonyos tekintetben fenntartással kezelni az eredményeket. Elég csak megemlíteni az MI-kre jellemző „hallucinációk” problémáját, vagy hogy kitalálnak nem létező dolgokat.

Az sem valószínű, hogy a szemészeknek néhány éven belül más állás után kéne nézniük: a mesterséges intelligencia inkább lehet egy hasznos segédeszköz, mint egy, a szakembereket teljesen kiváltó technológia.

Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.