Studie: KI-roboter gir ikke gode helseråd

Selv om KI-roboter kan «bestå» eksamener for helsepersonell, gir de ikke bedre helseråd enn man kan finne på mer tradisjonelle måter, ifølge en studie.

Det ble blant annet brukt en chatrobot fra OpenAI i undersøkelsene. Foto: Michael Dwyer / AP / NTB

– Pasientene må være oppmerksomme på at det å spørre en stor språkmodell om symptomene de har, kan være farlig og føre til feil diagnose og til at det ikke blir oppdaget når det er nødvendig med akutt hjelp, sier Rebecca Payne fra Oxford University.

Hun sier KI ikke er klar til å ta over legens rolle.

Den britiskledede forskergruppen ønsket å finne ut hvor godt mennesker lykkes når de bruker chatteroboter til å identifisere helseproblemer og avgjøre om de trenger å oppsøke lege eller sykehus.

Rundt 1300 deltakere i Storbritannia ble forelagt ti ulike scenarioer, som hodepine etter en kveld med drikking på byen, en ny mor som er utslitt eller følelsen av å ha gallestein.

Deretter ble deltakene tildelt en av tre chatboter: GPT-4o fra OpenAI, Llama 3 fra Meta eller Command R+. En kontrollgruppe brukte vanlige søkemotorer på nettet.

De som brukte chatbotene klarte bare å identifisere helseproblemet i rundt en tredel av tilfellene, og snaut halvparten – 45 prosent – fant fram til riktig fremgangsmetode videre. Dette var ikke bedre enn tallene for kontrollgruppen, ifølge studien, som er publisert i Nature Medicine.

Forskerne pekte på den store forskjellen mellom det skuffende resultatet i studien og det at KI-chatboter gjør det bra på tester og eksamener for helsepersonell. De mener gapet skyldes kommunikasjonssvikt.

Til forskjell fra simulerte pasientmøter som ofte brukes til å teste KI, var det ofte de ekte menneskene ikke ga chatbotene all relevant informasjon. Og noen ganger slet menneskene med å tolke alternativene chatbotene foreslo, eller de misforsto eller ignorerte rådene de fikk.