Sunn skepsis er ikke ubegrunnet frykt

I debatten rundt KI trekkes gjerne dagens modellegenskaper frem som relevante for vurdering av morgendagens potensielle utfordringer. Det er en felle som også Rosander antakelig går i når han mener vi ikke skal frykte det ukjente. For det er jo ikke vanskelig å være enig i at dagens modeller er temmelig harmløse. Men morgendagens egenskaper vil være radikalt annerledes og påvirke samfunnet på måter vi ikke kan forestille oss.

Åpen

Åpen

Åpen

Det er vel her på sin plass å minne om at egenskapene vi har i dag ville vært ren science fiction for bare tre-fire år siden og at eksponentiell vekst innebærer at det vi har sett så langt bare er forsmaken på hva vi har i vente.

De mest kjente i kategorien «teknologi-engstelige» er vel ludittene som saboterte maskiner i begynnelsen av den industrielle revolusjonen.

Man kan kanskje la seg friste til å mene at vi som nå er skeptiske til utviklingen, engster oss ubegrunnet. Men flere av de engstelige er også blant de meste sentrale utviklerne av teknologien. Geoffrey Hinton, Yoshua Bengio, Daniel Kokotajlo, Paul Christiano, Dario Amodei er bare noen eksempler. De advarer om at radikale samfunnsendringer og eksistensiell risiko faktisk må ansees som en reell mulighet. Innad i techselskapene snakkes det åpent om hvilket «P-doom» man regner som realistisk (prosentvis sannsynlighet for katastrofe). Man må vel tilbake til utviklingen av atomenergi på 1930-tallet for å finne tilsvarende nivå på lunsjsamtalene blant utviklere.

Er det ikke på tide å avdekke om dagens luditter kan ha rett fremfor å bidra til fremsnakking av en teknologi som raser videre mot AGI?

AGI innebærer overlegen intelligens som vil være like fremmed for oss som om vi blåste opp den kognitive kapasiteten på en edderkopp.

Hvem vet hva den ville finne på?