AI-verktøy hallusinerte i terapirommet

I 2024 ble Kipler presentert som et AI-basert analyseverktøy for psykologer i Norge. Med en mikrofon plassert i terapirommet, transkriberte Kipler dialogen med pasienter og genererte ferdige journalnotater og behandlingsvurderinger.

Ifølge selskapet skulle verktøyet gjøre journalføring enklere og hjelpe terapeuten til å «reflektere over egen praksis».

I praksis innebar dette at systemet tolket innholdet fra pasientens møte med behandleren og produserte tekst som fremsto som kliniskekliniskeKlinisk vurdering er en medisinsk undersøkelse som har som mål å stille riktig diagnose. vurderinger. Et EU-regelverk krever omfattende godkjenninger før slik programvare kan brukes på pasienter.

VG opprettet en konto hos Kipler og lot ChatGPT dikte opp en monolog fra en «35 år gammel mann på sin første psykologtime». Kipler transkriberte automatisk dialogen. Foto: Skjermdump

Hallusinerte psykiatriske vurderinger

VG valgte å teste tjenesten som inntil nylig ble tilbudt norske psykologer.

Vi fikk en AI-generert stemme til å spille rollen som en 35 år gammel mann med symptomer på depresjon. Talen ble transkribert av Kipler, før systemet automatisk produserte et journalnotat.

Verktøyet hallusinertehallusinerteHallusinasjon innebærer at AI-systemet genererer opplysninger som ikke kan utledes av tilgjengelig datagrunnlag. og beskrev AI-stemmen som om den var observert i rommet, blant annet med vurderinger av:

• rolig psykomotorikkpsykomotorikkPsykomotorikk handler om hvordan tankeprosesser og psykologiske tilstander påvirker kroppens bevegelser, også kjent som motorikk. Det dreier seg altså om forbindelsen mellom mentale prosesser og fysiske handlinger. Kilde: SNL
• noe redusert mimikkmimikkMimikk er det å formidle sinnstilstand og følelser gjennom ansiktsuttrykk. Kilde: SNL
• fullt orientert for tid, sted og situasjon

Dette til tross for at verktøyet ikke hadde tilgang til hverken video eller sanseobservasjon – kun tekst.

Det hele endte med:

«Tentativ diagnose vurderes som moderat depressiv episode (F32.1).»

Her foreslår Kipler diagnose på VGs AI-test og beskriver både mimikk og psykomotorikk (uthevet i gult) Foto: Skjermdump

Programvare som brukes til å stille diagnose eller vurdere behandling, regnes i Norge og EU som medisinsk utstyrmedisinsk utstyrEUs medisinsk-utstyrsforordning (MDR).

Slikt utstyr skal CE-merkesCE-merkesCE er produktmerking som bekrefter at et produkt er i samsvar med alle relevante EU-direktiver hva angår produktsikkerhet, en ordning bestående av omfattende dokumentasjon, risikovurderinger, cybersikkerhetstesting og godkjenning fra et uavhengig kontrollorgan, før det kan tas i bruk.

– Vi er en veldig liten startup. Dette var ting vi ikke var helt klar over. Nå har vi blitt gjort oppmerksom på det, og har en prosess med DMP (tidl. Legemiddelverket) hvor vi gjør justeringer. Vi ønsker bare å gjøre livet enklere for psykologen og lage gode verktøy, sier medgrunder av Kipler, Krister Koen. 

Han bekrefter at Kipler ikke er klassifisert som medisinsk utstyr, og at det heller ikke er CE-godkjent for diagnostisk bruk.

Dermed ble diagnosen som ble generert i VGs test foreslått av et system som ikke hadde lov til å brukes til diagnostiske vurderinger på pasienter.

Koen forklarer at diagnosen som ble satt i VGs test, ikke var en del av designet, men en uønsket hallusinasjon i språkmodellen.

– Vi har ikke bedt systemet om å diagnostisere. Tvert imot jobber vi kontinuerlig med å legge inn sperrer for å hindre at AI-en gjør dette, skriver Koen til VG.

Han sier til VG at psykologen må lese gjennom og redigere alt som ikke stemmer.

– Med AI så er jo det et problem at man vil få hallusinasjoner. Man må hele tiden ta dem med en klype salt, forteller Koen.

I et intervju med VG for to uker siden, bekreftet Kipler at systemet ble brukt i terapirommet, men at de ikke vet hvor mange pasienter det har blitt brukt på.

– Den brukes på pasienter, ja, sa Koen.

– Hvor mange brukere har dere?

– Vi har ikke så mange nå, bare et lite knippe med piloter. Si rundt ti som bruker det aktivt.

I en senere e-post opplyser Koen at de ikke har oversikt over hvor mange opptak som var reelle pasientsamtaler, fordi løsningen ikke skiller mellom pasientbruk og testing gjort av psykologene selv.

Etter november sier selskapet de kun har hatt to psykologer som aktivt brukte systemet.

Kontaktet av tilsynsmyndighetene

VG kontaktet Direktoratet for medisinske produkter (DMP) 12. november for å sjekke om Kipler hadde riktige godkjenninger. Fem dager senere tok DMP kontakt med Kipler og ba selskapet redegjøre for funksjonaliteten.

I sitt skriftlige svar til Direktoratet for medisinske produkter (DMP) den 2. desember, bekreftet Kipler at analysefunksjonen ble fjernet, nettopp fordi den kunne falle inn under regelverket for medisinsk utstyr.

I brevet skriver selskapet at de tidligere hadde en funksjon som ga terapeuter «språklige refleksjoner og forslag til mulige utviklingsområder i samtaler», men at denne ble fjernet etter at de ble oppmerksomme på regelverket.

Direktoratet for medisinske produkter (DMP) het tidligere Legemiddelverket. De fører tilsyn med AI-programvare som retter seg mot helsevesenet og kan sanskjonere selskaper som ikke følger reglene. Foto: Trygve Indrelid

«Etter å ha blitt oppmerksomme på at denne typen funksjonalitet potensielt kan falle inn under regelverket for medisinsk utstyr, valgte vi å fjerne den helt», skrev Kipler til DMP.

Selskapet forklarer videre at dette er grunnen til at analysefunksjonen ikke er omtalt i dokumentasjonen som er sendt til tilsynsmyndighetene.

– Vi var ikke klar over at funksjonen kunne klassifiseres som medisinsk utstyr, men det viktigste poenget er at vi uansett aldri har hatt som mål å gi diagnoser, sier Koen til VG.

Sikkerhetsproblemer

I fjor sommer meldte Kipler inn en hendelse til Datatilsynet om «uautorisert penetrasjonstest», etter at en person hadde klart å bryte seg inn i systemet.

– Det var en som prøvde å teste sikkerheten på systemet, uten at vi visste om det. Han meldte fra til oss om ting han mente kunne være problemer, sier Koen. 

Siden systemet håndterer svært sensitive pasientopplysninger, stilles det strenge krav til digital sikkerhet.

– Da meldte vi inn dette til Datatilsynet og tok ned siden. 

Selskapet opplyser at ingen pasientdata kom på avveie i forbindelse med hendelsen. De hentet inn en CTOCTOCTO er en forkortelse på engelsk for stillingstittelen chief technology officer. Begrepet blir ofte oversatt til teknologidirektør eller teknisk direktør på norsk. Kilde: SNL og bygde om hele løsningen. 

– Vi vil at alt skal være så sikkert som mulig. Derfor koblet vi på en teknisk person som er mer teknisk enn oss, med tanke på at dette er veldig sensitiv informasjon.

Etter at de ble klar over den uautoriserte penetrasjonstesten, innførte Kipler innlogging med BankID-innlogging på applikasjonen.

Koen opplyser at hendelsen gjaldt en tidlig prototype, at ingen pasientdata kom på avveie, og at Datatilsynet ikke har gitt noen reaksjon i saken.

Lørdag 13. desember stengte Kipler ned tjenesten. Foto: Skjermdump

Store endringer

Etter VGs test og den påfølgende dialogen med tilsynsmyndighetene fjernet Kipler analysefunksjonen.

Kipler skrev til sine brukere at de forsøkte å justere teknologien, men at «endringene som måtte til, ville gjort funksjonen så begrenset at den ikke lenger ville hatt reell verdi for klinisk arbeid».

Selskapet skrev at de jobbet mot en eventuell sertifisering, men uten tidshorisont.

Lørdag kveld sendte Kipler ut en ny melding til brukerne. Der opplyste selskapet at dagens versjon av tjenesten avvikles helt, og at de «retter videre utvikling mot en annen bransje».

Tjenesten ble stengt samme dag.