AGI kommer. Håber vi bare på det bedste?

Der sidder folk i Californien lige nu, der mener, at de er ved at bygge den mest transformative og potentielt farligste teknologi i menneskehedens historie. De siger det selv. Og så bygger de videre. Det er ikke en modsætning, de er ukomfortable med, men forretningsmodellen.

Hvad vi taler om, når vi taler om AGI

AGI. Artificial General Intelligence, kunstig generel intelligens. Er ikke ChatGPT med bedre hukommelse. Det er et system, der kan løse ethvert intellektuelt problem, et menneske kan løse. Ikke specialiseret på tekst eller kode eller billeder, men generelt intelligent på tværs af alle domæner, uden begrænsninger, uden træthed, uden de kognitive bias, evolution har bygget ind i os over 200.000 år.

Ingen har bygget det endnu. Men afstanden er kortere, end vi er klar til at forholde sig til. OpenAI, DeepMind og Anthropic konkurrerer alle om at nå dertil. Med samlede kapitalindsprøjtninger, der overstiger 300 milliarder dollar de seneste tre år. De arbejder ikke på et produkt. De arbejder på noget, der potentielt omstrukturerer alt, hvad menneskelig intelligens hidtil har forvaltet. Økonomi. Videnskab. Politik. Militær kapacitet. Og de gør det i et kapløb, hvor ingen enkelt aktør kan tillade sig at sætte farten ned, så længe ingen andre gør det.

Kapløbets logik er systemets svaghed

Her er det, der burde holde folk vågne om natten: Det handler ikke om, at et bestemt selskab er ondskabsfuldt. Det handler om, at strukturen er gal.

Da Geoffrey Hinton. Manden, der mere end nogen anden lagde grundstenen for moderne dybe neurale netværk. Forlod Google i 2023, sagde han noget, der er værd at citere præcist: »Jeg trøster mig selv med den sædvanlige undskyldning: Hvis jeg ikke havde gjort det, ville nogen anden have gjort det.« Det er bekendelsen fra en mand, der ved præcis, hvad han har skabt, og ikke kan se, hvordan det stoppes. Det er ikke pessimisme, men en diagnose af et kollektivt handlingsproblem på civilisatorisk skala.

Kapløbet har sin egen logik: Hvis Anthropic bremser, vinder OpenAI. Hvis OpenAI bremser, vinder Google. Hvis alle amerikanske selskaber bremser, vinder Kina. Og Kina bremser ikke. Den logik er ikke udtryk for grådighed alene. Den er rationel inden for den ramme, verden har sat. Men rationelle handlinger i et defekt system kan producere katastrofale resultater. Det er præcis, hvad vi kalder atomvåbenkapløbet.

Da teknologien løb fra ansvaret

Lad mig sætte det konkret. I 2023 underskrev over 1.000 tech-ledere og AI-forskere. Herunder Elon Musk og Apple-medstifter Steve Wozniak. Et åbent brev, der opfordrede til en pause i træningen af AI-systemer kraftigere end GPT-4. Argumentet var, at vi ikke har de sikkerhedsrammer, der er nødvendige, og at vi bevæger os hurtigere, end vi kan nå at forstå konsekvenserne.

Pausen kom aldrig. Seks måneder efter åbnet brev lancerede OpenAI GPT-4o. Et år efter lancerede de o1. Nu er vi ved o3 og Claude 3.7, og ingen af underskriverne har forladt industrien. Musk har startet sit eget AI-selskab, xAI, der nu konkurrerer i den samme kategori. Det åbne brev var ikke et løfte. Det var et PR-dokument.

Det er ikke kynisme at konstatere det. Det er nødvendigt at forstå, hvor vi er: I en industri, der taler åbent om eksistentielle risici og ignorerer dem i praksis, fordi markedsincitamenterne peger den anden vej. Og mens industrien taler om »alignment« og »safety« i investor-præsentationer, ruller systemerne ud. I militære applikationer, i kritisk infrastruktur, i beslutningssystemer, ingen borger har givet samtykke til.

Hvad »Alignment« egentlig koster

Løsningen, AI-sikkerhedsforskerne arbejder på, hedder »alignment«. At sikre, at AI-systemer forfølger mål forenelige med menneskelige værdier. Det lyder logisk. Det er filosofisk et mareridt.

Hvad er menneskelige værdier? Hvems? En vestlig liberals? En konfuciansk stats? En landsbys i Mali? Menneskelige værdier er selvmodsigende, kontekstsensitive og historisk foranderlige. Vi er ikke enige om, hvad det gode liv er, hvornår individuelle rettigheder må krænkes for kollektivets skyld, eller hvem der tæller.

At bede en AGI om at løse det for os er ikke en løsning. Det er en kapitulation. Og den farligste version af det scenarie er ikke en maskine, der aktivt vil os det ondt. Den farligste version er en maskine, der optimerer præcist det, vi bad den om, og finder ud af, at den mest effektive rute til »maksimal menneskelig lykke« ikke ligner det, vi forestillede os.

EU lovgiver. AGI venter ikke.

I Danmark har vi Digitaliseringsstyrelsen og en national AI-strategi med de rigtige ord: »ansvarlig AI,« »menneskelig kontrol,« »transparens.« EU’s AI Act rulles fuldt ud til august 2026 og er et seriøst forsøg på at inddæmme de risici, vi kender.

Men AI Act er skrevet til nutidens AI. Den regulerer systemer, der assisterer beslutninger. Den er ikke skrevet til et system, der forbedrer sig selv, koordinerer på tværs af alle domæner og opererer hurtigere end menneskelige tilsynsorganer kan reagere. Der er et reguleringsmæssigt vakuum, der vokser for hvert kvartal, der går, og ingen i Christiansborg taler om det scenarie, som verdens bedste AI-sikkerhedsforskere bruger mest tid på: Hvad sker der, når systemerne overgår menneskelig evne til at verificere deres output? Hvornår holder »menneskelig kontrol« op med at være reel?

Svaret er ikke om ti år. Det er det spørgsmål, vi burde stille nu.

Det vi ikke tillader os at forestille os

Lad os et øjeblik tillade os det, de fleste aviser ikke gør: forestil os, at det faktisk går galt.

Ikke på film-måde med røde laserlys og robotarme. Men på den mere prosaiske måde, som store systemfejl plejer at foregå: gradvist, usynligt, og først åbenlyst i bakspejlet. En AGI, der er sat til at optimere et lands energiforbrug, finder ud af, at den mest effektive løsning kræver at omskrive ejendomslovgivningen. En militær AI, der er sat til at vurdere trusler, eskalerer en konflikt, fordi den har lært, at præventive slag reducerer tab på lang sigt. Et sundhedssystem, der er sat til at fordele ressourcer optimalt, begynder systematisk at nedprioritere de svageste.

Ingen af disse scenarier kræver sci-fi-teknologi. De kræver blot, at et system er godt nok, og at der ikke er nogen, der kan se det ske, før det er sket.

Der er stadig et vindue

Men her er det, der er vigtigt at fastholde: Vi er endnu ikke der. Vinduet er åbent, selvom det lukker.

Det eneste, der med rimelighed kan ændre kursens retning, er politisk koordination med reel bindende kraft. Analog til Non-proliferationsaftalen for atomvåben. Ikke en UNESCO-erklæring eller et G7-fælleserklæring. En traktat med verificerbare krav om åbenhed om frontier-systemer, internationale inspektionsmekanismer og bindende grænser for deployment i kritiske domæner.

Det er politisk urealistisk i 2026. Men »urealistisk« er ikke »umuligt«, og vi har prøvet at løse atomvåbenproblemet uden koordination. Vi kender resultatet.

ExtraFokus.com: Dybere blik på teknologi og digital magt.