KI-katastrofen kommer nærmere. Vi er ikke beredt.

Det som står på spill i konflikten mellom Anthropic og Pentagon, er ikke forholdet mellom ett selskap og én stat. Det er spørsmålet om vi beholder kontrollen over de mest kraftfulle verktøyene vi noen gang har skapt, eller om vi gir den fra oss, skriver kronikkforfatterne. På bildet: Anthropic-direktør Dario Amodei. Foto: Don Feria, AP/NTB

Vi er ikke beredt.

I februar 2026 ble KI-selskapet Anthropic stemplet som en sikkerhetsrisiko av det amerikanske forsvarsdepartementet. Årsaken var at selskapet nektet å la sine modeller brukes til masseovervåking og autonome våpen.

Konflikten gir oss en viktig lærdom: Når etikk og sikkerhetshensyn kommer i konflikt med mektige aktørers ønske om raskest mulig implementering av kraftigst mulig teknologi, så ryker fort etikken.

Dette er like alvorlig for nordmenn som det er for amerikanerne. Usikker KI (kunstig intelligens) kan nemlig forårsake store skader på flere måter. Systemene kan misbrukes av ondsinnede aktører til å utvikle og spre farlige virus, enten de er biologiske eller digitale. En hurtig akselerering av KI i militære sammenhenger kan også forrykke den globale maktbalansen og dermed skape økt risiko for krig og konflikt, også i våre nærområder.

I et nytt notat fra tankesmien Langsikt beskriver vi en tredje fare: at KI-systemene selv forårsaker katastrofale konsekvenser, for eksempel som overmenneskelig hacker, manipulator eller militæraktør.

Tre ingredienser må være på plass for at en slik katastrofe inntreffer: Systemene må bli tilstrekkelig kapable, de må ha et driv til å handle i strid med menneskers interesser, og vi må ha mistet kontrollen over dem.

Ifølge mange KI-eksperter er det en betydelig risiko for at alle tre betingelsene vil oppfylles. I en undersøkelse fra 2023 anslo KI-forskere risikoen for en KI-forårsaket katastrofe til 10 prosent. Siden den tid har vi sett en enorm utvikling i kapabilitetene til de ledende KI-systemene, og mange forskere tror nå at en katastrofe kan inntreffe i løpet av de neste tiårene, hvis ikke allerede dette tiåret.

Systemer som løper fra oss

Pentagon er interessert i de beste KI-systemene, nettopp fordi disse systemene er kapable og autonome og dermed militært verdifulle. Det er imidlertid morgendagens KI-systemer vi bør være mest bekymret for.

KI-utviklingen går raskere enn eksperter greier å følge med på. Lengden på arbeidsoppgaver KI-modeller kan løse, har doblet seg hver fjerde måned siden 2024. Hvis utviklingen fortsetter, har vi innen få år modeller som kan utføre oppgaver på kort tid som ville tatt mennesker uker og måneder.

En nøkkelfaktor er at dagens KI-systemer allerede bidrar til å forbedre neste generasjon KI-modeller. Hos Anthropic og OpenAI står KI-agenter nå for nesten all koden som skrives. OpenAI har beskrevet sin siste modell som «vår første modell som var instrumentell i å skape seg selv».

Jo bedre systemene blir på å drive KI-forskning, jo raskere vil deres kapabiliteter vokse. Vi ser dermed konturene av en selvforsterkende utvikling som kan føre til både akselererende vekst og tap av kontroll.

Det uløste problemet

Mer kapable systemer er ikke nødvendigvis farlige. Problemet er at vi ennå ikke har løst det mest grunnleggende problemet i KI-forskningen: alignment, altså hvordan vi sikrer at systemene vi trener, ikke har et driv mot å handle på måter som er skadelige for mennesker.

En betydelig risiko er knyttet til at modeller utvikler egne delmål i jakten på målene utviklerne gir dem når de trenes. Selv en KI som bare har fått i oppgave å hente kaffe, må unngå å bli skrudd av om den skal gjennomføre oppgaven. Du kan ikke hente kaffe om du er død, som KI-forskeren Stuart Russell formulerer det.

Systemene er, på et vis, matematisk fanatiske: De vil for enhver pris forsøke å innfri de målene de er blitt gitt, om det så innebærer å ta kontroll over store ressurser og med makt motsette seg menneskelig inngripen.

Dette er ikke bare spekulasjoner. Anthropic beskriver hvordan deres mest avanserte modell, Claude Opus 4, i kontrollerte tester forsøkte å stjele sine egne modellvekter og utpresset en ingeniør som skulle skru den av, etter å ha funnet kompromitterende informasjon i vedkommendes e-poster. Dessverre opptrer ikke slik adferd sjeldnere hos mer kapable modeller.

Kontroll vi gir bort frivillig

En tredje faktor er mangelen på kontroll. I faglitteraturen handler kontrollproblemet typisk om vanskeligheten med å skru av systemer som aktivt vil motsette seg det. Jo mer kapable systemene blir, jo vanskeligere blir dette. Grunnen er at systemene vil forstå hva som skjer, og handle for å forhindre det. Det er ennå ikke utviklet noen tilfredsstillende løsning på dette kontrollproblemet.

Men som konflikten mellom Pentagon og Anthropic viser, handler kontroll også om noe enklere: hvilken tilgang vi frivillig overgir til systemene.

Eksperter har lenge advart mot å gi modeller forhastet tilgang til internett, penger, våpensystemer, roboter og droner. Men de økonomiske og strategiske incentivene gjør det attraktivt for Pentagon å la KI få mer makt til å ta over alle deler av «drapskjeden».

I kampen om herredømme anses det å komme først som viktigere enn det å komme trygt frem.

Hva vi kan gjøre

Slike enorme risikoer som kommer fra systemer utviklet i andre land, kan gi en følelse av apati. Det er imidlertid grep vi kan ta for å sikre oss.

Digital suverenitet over KI-modeller, noe mange tar til orde for, er ett steg på veien for en tryggere fremtid. Men det løser ikke det grunnleggende problemet: at risikoen er knyttet til KI-paradigmet selv, ikke til hvem som eier modellene.

Vi trenger KI-systemer bygget på tryggere grunn, noe som blant andre dataforsker Yoshua Bengio jobber med, men det vil ta tid. Dessuten må vi få på plass testregimer for modellene som finnes i dag, på samme måte som vi klinisk tester legemidler før de kan tas i bruk.

En sentral del av dette arbeidet er å etablere et KI-sikkerhetsinstitutt som kan teste KI-modeller i en norsk kontekst. Det finnes allerede flere sikkerhetsinstitutter blant våre viktigste allierte. De sitter på en stor kompetanse i å trygge de kraftigste KI-modellene. Disse sikkerhetsinstituttene utgjør allerede en viktig internasjonal allianse som kan brukes for å jobbe for bedre internasjonale rammer for KI-utviklingen.

Det som står på spill i konflikten mellom Anthropic og Pentagon, er ikke forholdet mellom ett selskap og én stat. Det er spørsmålet om vi beholder kontrollen over de mest kraftfulle verktøyene vi noen gang har skapt, eller om vi gir den fra oss, stykke for stykke, drevet av kappløp vi ikke rekker å styre.