Kevésbé jók az eredményei a mesterséges intelligenciának, ha az egészségügyben nőkről vagy színesbőrűekről van szó – hívja fel a figyelmet egyfajta rasszizmusra a Financial Times a Massachusettsi Műszaki Egyetem (MIT) egyik tanulmányára hivatkozva. Másképp fogalmazva: a nem orvosi információknak hatásuk lehet az LLM-ek (nagy nyelvi modellek) egészségügyi döntéseire.
A kutatók szerint a nagy nyelvi modellek, mint például az OpenAI GPT-4 és a Meta Llama 3 modelljei nagyobb valószínűséggel becsülik alá a nők panaszait és gyakrabban mondták nekik, hogy elég, ha önállóan, otthon kezelik a problémáikat. Persze az ilyen modellek általánosabb célúak, nem orvosi környezetben való használatra tervezték őket, azonban – hívja fel a figyelmet a Gizmodo – egy egészségügy-központú, Palmyra-Med nevű LLM-nél is hasonló eredményre jutottak.
De nem csupán a nőket különbözteti meg a MI. Egy korábbi kutatás arra az eredményre jutott, hogy a GPT-4 válaszának empátiaszintje 2-15 százalékkal volt alacsonyabb a sötétbőrű, és 5-17 százalékkal az ázsiaiak esetében, mint a fehér vagy ismeretlen faji hovatartozású felhasználóknál.
Egy másik tanulmány pedig, amelyik tavaly jelent meg a The Lancet folyóiratban, arra a következtetésre jutott, hogy az OpenAI GPT-4 modellje rendszeresen „sztereotipizál bizonyos fajokat, etnikumokat és nemeket”, olyan diagnózisokat és ajánlásokat hozva létre, amelyeket inkább demográfiai azonosítók, semmint tünetek vagy állapotok vezéreltek.
A megkülönböztetés hátterében a MI-rendszerek betanítási folyamata áll. Történelmileg a legtöbb klinikai vizsgálat során fehér férfiakra összpontosítottak, a nők és a színesbőrűek háttérbe szorultak, mindez jelentős alulreprezentáltsághoz vezetett az orvosi kutatásokban. A mesterséges intelligenciát pedig a meglévő kutatási anyagokkal tanítják, így érthető, hogy MI-eszközök rosszabb egészségügyi eredményeket produkálnak azoknál az embereknél, akiket korábban alulreprezentáltak vagy figyelmen kívül hagytak.
Ez viszont egy meglehetősen égető probléma, különösen mivel az olyan cégek, mint a Google, az OpenAI vagy a Meta versenyt futnak azért, hogy az eszközeiket bejuttathassák a kórházakba és az egészségügyi intézményekbe. Ez pedig egy hatalmas és jövedelmező piac, de egyben olyan is, amelyben meglehetősen súlyos következményei vannak a félretájékoztatásnak.
Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának tudományos felfedezésekről is hírt adó Facebook-oldalát.
