KI-gründer frykter for pasientsikkerheten

Neste gang du er på sykehus, kan det hende kunstig intelligens brukes når du snakker med legen.

Helse Sør-Øst har nylig brukt 180 millioner på KI-verktøy, som kan gjøre tre ting.

• Lytte til samtaler mellom lege og pasient
• Skrive samtalen ut i tekstform
• Lage en oppsummering

Legen kan endre og godkjenner oppsummeringen, før den lagres.

– Hele hensikten er at helsepersonellet skal unngå å bruke veldig lang tid etter en pasientkonsultasjon foran PC-en med å skrive oppsummeringer, sier direktør for teknologi og digitalisering i Helse Sør-Øst, Rune Simensen.

Han legger til at teknologien allerede er i bruk hos mange fastleger og er sterkt ønsket i sykehusene.

Pasientsikkerhet

Sjefpsykolog i KI-selskapet Braive Henrik Haaland Jahren, har utviklet et KI-verktøy for psykologer.

Han reagerer på måten KI nå tas i bruk. f. eks av Helse-Sør-Øst.

– Jeg er helt enig i at vi trenger mer KI i helsetjenesten, men vi trenger trygg KI, sier han.

Han frykter det i verste fall kan gå ut over oss pasienter.

– Vi har et regelverk som gir veldig tydelige retningslinjer på hva som skal til for å utvikle trygge produkter. Og hvis vi prøver å komme oss på utsiden eller ser bort fra det, så kan det resultere i løsninger som kan gå utover pasientsikkerheten.

Braive er også underleverandør til Omilon, som er ett av selskapene som vant anbudet til Helse Sør-Øst.

Helseforetaket avviser kritikken og sier løsningene de har valgt er helt trygge.

– Ja, det kan jeg garantere. Det vil vi sikre gjennom en strukturert utprøving og en kontrollert stegvis ibruktagelse utover i 2026.

Hjelp til beslutninger

Kjernen i konflikten er hvordan man ser på den jobben som KI-verktøyet gjør.

Jahren mener en tale-til-tekst-tjeneste, som Helse Sør-Øst nå har kjøpt, i realiteten gir helsepersonell hjelp til å fatte beslutninger:

– Når du tar en 45 minutters samtale og korter den ned til mellom 300 til 1000 ord under ulike overskrifter, som skal være underlaget til en journal, så har det også hjulpet klinikerne både hva skal de være oppmerksomme på ut fra samtalene hun hadde, og hva er planen for videre behandling. Så det påvirker en beslutning, og da er det beslutningsstøtte.

Simensen i Helse Sør-Øst er uenig.

– Vi tenker at det er ikke beslutningsstøtte som gis, når man lager et sammendrag av en dialog mellom eksempelvis en lege og en pasient.

Hvis et KI-verktøy gir helsepersonell beslutningsstøtte, så skal det være CE-merket og godkjent som medisinsk utstyr, i klasse 2a eller høyere, av et eksternt kvalitetssikringsorgan.

Det er det ikke krav om i dette anbudet.

Helsetilsynet: – Tar en risiko

Helsetilsynet mener det er uavklart om slike tjenester i realiteten gir beslutningsstøtte.

Akkurat nå pågår det et arbeid i regi av EU for å avklare spørsmålet.

– Så lenge det er en usikkerhet rundt definisjonen, så er det en risiko i anbudet, sier seniorrådgiver i Helsetilsynet, Lars Talstad.

NRK har vært i kontakt med de fire leverandørene som har fått anbudet. Alle sier de er opptatt av å lage trygge løsninger.

En leverandør sier at det pr. i dag ikke er tydelige reguleringer på dette området.

Helsetilsynet har også laget denne kortlisten over det viktigste å tenke på når man bruker KI i helsevesenet.

Flere bruksområder

KI kan mer enn å lage oppsummeringer.

Lignende teknologien har mulighet til å foreslå diagnoser og behandlingsopplegg, men Helse Sør-Øst understreker at de ikke har kjøpt inn slik funksjonalitet nå.

De sier også at hvis slik funksjonalitet skal tas i bruk vil det eventuelt være etter nye grundige vurderinger.

Helseforetaket sier at leverandørene alltid må forholde seg til de lov- og forskriftsmessige kravene som til slike løsninger. Det er direktoratet for medisinske produkter som forvalter det lovverket.

– I anskaffelsen er det kravstilt styringsmekanismer og sperringer som hindrer systemene fra å selv komme med forslag til diagnoser, behandling eller kliniske vurderinger. Løsningene har innebygde mekanismer som hindrer slik bruk, avslutter Simensen.

Helsedirektoratet sendte i mai ut et faktaark om trygg bruk av kunstig intelligens.