Falske folkebevegelser truer demokratiet

Forestill deg at du står på et folkemøte. Salen koker, argumentene hagler, og et overveldende flertall ser ut til å kreve en radikal samfunnsendring.

Både du og politikerne på podiet lar dere påvirke av trykket fra salen.

Det ingen av dere vet, er at 80 prosent av de oppmøtte er skuespillere. De er leid inn av én enkelt aktør, og instruert til å bruke ulike dialekter, klesstiler og argumenter for å skape en perfekt illusjon av bred, folkelig enighet.

Dette tankeeksperimentet er i ferd med å bli en realitet på internett.

I en ny forskningsartikkel i Science, som vi har skrevet sammen med 20 andre forskere fra blant annet Harvard, Oxford, og Cambridge samt fredsprisvinner Maria Ressa og AI-ekspert Gary Marcus, advarer vi mot en trussel som skiller seg markant fra de «trollene» og falske nyhetene vi har diskutert de siste ti årene.

Vi står overfor fremveksten av KI-drevne «svermer»: Koordinerte hærer av kunstig intelligens som ikke oppfører seg som roboter, men som sosiale organismer.

Manipulasjon i industriell skala

Tidlige forsøk på digital påvirkning var primitive. Nettverk av boter fungerte som megafoner som limte inn og delte det samme budskapet tusenvis av ganger. De var irriterende, men enkle å gjennomskue og hadde lite påvirkning.

Dagens teknologi, drevet av store språkmodeller, har endret spillereglene totalt. En enkelt aktør kan nå instruere tusenvis av falske profiler. Hver av dem framstår som unike individer.

Disse kan diskutere seg imellom, tilpasse seg motargumenter i sanntid, og bruke lokalt språk og slang for å bygge tillit i og infiltrere spesifikke miljøer.

De opererer ikke lenger isolert, men som et nettverk. De forstår sosiale strukturer og tester tusenvis av varianter av et budskap for å finne den versjonen som er mest overbevisende.

Dette er ikke science fiction. Allerede sommeren 2024 stanset amerikanske myndigheter en operasjon der nesten 1000 kontoer utga seg for å være amerikanere.

Kommersielle aktører utvikler nå verktøy som lover å styre slike falske hærer med en presisjon som får dem til å fremstå som helt vanlige mennesker.

I et rent teknisk perspektiv er antallet identiteter nær sagt uendelig, og kostnadene er små i forhold til alt man kunne få til tidligere.

Venturekapital bidrar allerede til å industrialisere dette: Selskapet Doublespeed, støttet av kapital fra selskapet Andreessen Horowitz, reklamerer med en metode for å «orkestrere handlinger på tusenvis av sosiale kontoer» og etterligne «naturlig brukerinteraksjon» på fysiske enheter, slik at aktiviteten fremstår menneskelig.

Illusjonen av flertall

Faren for demokratiet ligger ikke først og fremst i at disse maskinene lyver, men i at de simulerer enighet eller skaper polarisering om ønskelig.

Demokratiet vårt hviler på premisset om at stemmene vi hører i offentligheten tilhører uavhengige individer. Når én bakspiller kan ta på seg tusenvis av digitale masker, skapes det vi kaller en «syntetisk konsensus».

Effekten er lammende. Vi mennesker er sosiale flokkdyr; vi orienterer oss etter hva vi tror «folk flest» mener. Dersom vi lures til å tro at ekstreme synspunkter er vanlige, flyttes grensene for hva vi selv aksepterer.

Samtidig forurenses selve kilden til vår felles virkelighetsforståelse. Når internett oversvømmes av maskingenerert støy, blir dette treningsdata for fremtidens KI-modeller. Vi risikerer at det menneskelige fundamentet i demokratiet smuldrer opp.

Vi må endre markedskreftene

Mange roper på forbud, men lovveien er krevende, noe EUs tannløse
reguleringsforsøk så langt har vist. Dessuten er det teknisk umulig å faktisk forhindre at slike agenter blir skapt.

Løsningen ligger heller i å endre manipulasjonens økonomiske regnestykke. I dag er det billig og enkelt å opprette en falsk hær for å påvirke et valg. Risikoen og konsekvensene ved å bli oppdaget, er også minimale.

Målet vårt må være å snu denne logikken på hodet: Det skal koste en formue å forfalske en folkemening, og risikoen for å bli avslørt må være overhengende.

For å oppnå dette, må vi tenke nytt rundt digitalt forsvar.

For det første må vi slutte med brannslukking. Dagens strategi, der plattformene sletter kontoer i skippertak etter at skaden har skjedd, fungerer ikke mot moderne KI.

Vi trenger overvåkningssystemer som ser etter mønstre i adferd fremfor innhold. Selv om tusen KI-agenter skriver ulike tekster, vil de ofte avsløre seg gjennom unaturlig koordinering i nettverket.

For det andre trenger vi åpenhet. Dette krever at vi sikrer gratis og full tilgang til data for forskere. Vi kan ikke overlate forsvaret av demokratiet til teknologigiganter som tjener penger på engasjementet disse svermene skaper.

Vi foreslår opprettelsen av et uavhengig «innflytelses-observatorium» – et nettverk av forskere og organisasjoner som kan analysere disse dataene og slå fast når en tilsynelatende folkebevegelse egentlig er en koordinert kampanje.

Retten til å være et menneske

Det mest inngripende tiltaket handler om identitet. Vi må gjøre det dyrt å være en falsk person. Dette betyr ikke at vi skal tvinge alle til å legitimere seg med pass overfor sosiale medier. Det ville true varslere, dissidenter, personvern og retten til anonyme ytringer.

Løsningen ligger i teknologi som kan gi oss status som «verifisert, men anonym». Tenk på det som et digitalt sertifikat som beviser at du er et unikt menneske, uten å avsløre hvem du er. Denne teknologien finnes.

Dersom plattformene favoriserer verifiserte mennesker i sine algoritmer, vil verdien av en falsk sverm falle betydelig. Det blir matematisk og økonomisk vanskelig for én operatør å opprettholde ti tusen troverdige stemmer hvis hver av dem krever et unikt menneskelig bevis.

Poenget er ikke at KI gjør demokrati umulig. Poenget er at så lenge det koster øre å koordinere en falsk mobb, og sekunder å opprette en fiktiv identitet, står det offentlige torget åpent for angrep.

Vi trenger ikke et sannhetsministerium som bestemmer hva som er rett og galt. Vi trenger et system der vi med sikkerhet kan vite forskjellen på en borger og en maskin.