Han er en superstjerne innen kunstig intelligens. Advarselen hans må tas på alvor.

Yoshua Bengio (her avbildet i Oslo) presenterer ikke bare en lovende idé til trygg KI-utvikling, men et rammeverk for en KI som forstår verden mer som vi mennesker gjør, skriver innleggsforfatterne. Foto: Øyvind Tveter

Han har skissert et av de beste løsningsforslagene så langt.

I forrige uke fikk Oslo besøk av en superstjerne innen kunstig intelligens: KI-gudfar Yoshua Bengio. Bengio er i Europa for å advare europeiske statsledere om de store risikoene ved KI: fra å bli avhengige av Kina og USA til «katastrofalt misbruk» og «KI som tar over for menneskeheten».

Norske forskere, som Arnoldo Frigessi (Universitetet i Oslo), har for vane å avfeie slike påstander som alarmistiske. Men det er grunn til å ta bekymringen seriøst.

Vi mener at Bengio bidrar til en av vår tids viktigste offentlige samtaler – og at han har skissert et av de beste løsningsforslagene så langt.

En av oss er stipendiat i KI ved NTNU og forsker på den typen modeller som Bengio ønsker at vi skal utvikle. Den andre har forlatt forskerjobben for å arbeide fulltid med KI-risiko.

Vi kan miste kontroll over utviklingen

Når man sitter og frustreres over intetsigende svar fra ChatGPT, er det lett å glemme hvor langt denne teknologien er kommet på få år.

For to uker siden publiserte Google en rapport som beskriver et digitalt trusselbilde som i økende grad består av hackerangrep utført med hjelp av KI-modeller.

I forrige uke informerte KI-selskapet Anthropic om at deres modeller var blitt brukt av kinesiske hackere til å utføre angrep mot «globale finansinstitusjoner og offentlige etater». Selv om hackerne bare hadde lykkes med et fåtall av sine angrep, påpeker Anthropic at dette er «det første storskala cyberangrepet utført uten vesentlig menneskelig innblanding».

I en digitalisert verden preget av økende geopolitiske spenninger er KI-styrt hacking en sikkerhetsrisiko som må tas på alvor.

Dagens KI-modeller som superhackere er derimot ikke den største bekymringen på lang sikt. For mye tyder på at det å lage bedre og mer kapable KI-modeller også er en oppgave som KI-modeller kan bli bedre på enn oss.

Å bruke KI-modeller til å gjøre KI-forskning er et felt som fortsatt er i sin spede begynnelse. Men utviklingen er eksponentiell, og i vår kom den første KI-genererte forskningsartikkelen som besto fagfellevurdering.

Potensialet for en KI-utvikling som blir selvforsterkende og dermed akselererer ut av kontroll, er nettopp en av farene Bengio trekker frem.

En KI laget for å kontrolleres

Løsningen Bengio skisserer, sammen med sin forskningslab LawZero, er en «vitenskaps-KI». Dette er en type KI som skiller seg fundamentalt fra dagens modeller.

Enkelt forklart er vitenskaps-KI designet for å lage modeller som har en forståelse for årsak-virkning og kan komme med hypoteser om hva som vil skje hvis en bestemt handling utføres eller en bestemt hendelse inntreffer.

Den store fordelen med disse modellene er at de vil være gjennomsiktige for mennesker, slik at de kan inspiseres for å se hvordan KI-en «tenker». Det gjør at vi kan styre hva KI-en har lov til å tenke, og dermed også hva slags outputs den har lov til å generere. Det Bengio snakker om, er altså en KI-modell som er bygget fra grunnen av for å kunne forstås av og kontrolleres av mennesker.

Store språkmodeller, som ChatGPT, er trent på enorme mengder data for å lære seg å forutsi det neste ordet i en setning og dermed generere tekst. Men ChatGPTs forståelse av verden består kun i å lære seg mønstre i store datamengder. Hvordan den tenker, er stort sett et mysterium. Vi kan derfor heller ikke garantere for hva den kan gjøre, eller at den ikke kan misbrukes.

Bengio ser for seg sin vitenskaps-KI som en slags portvokter som modererer hva modeller som ChatGPT har lov til å gjøre. Nettopp for å unngå at disse modellene blir brukt til cyberangrep eller annen farlig aktivitet.

Mulighet til å tenke nytt

Selv om det er urealistisk å konkurrere med tek-selskapene på pengebruk, har vi en mulighet til å tenke nytt. Bengio presenterer ikke bare en lovende idé til trygg KI-utvikling, men et rammeverk for en KI som forstår verden mer som vi mennesker gjør.

For å sikre en tryggest mulig fremtid bør vi sette inn betydelige ressurser på å utvikle vitenskaps-KI, både med norske og europeiske forskningsmidler. Et naturlig sted å starte er en storskala fellesnordisk satsing på KI-sikkerhet, noe Bengio selv påpekte da han besøkte Oslo. Men som han også sa: da må det legges på noen nuller på KI-milliarden.