I maj skapade AI-agenter, program som kan planera och utföra uppgifter utan löpande mänsklig styrning, en helt egen diskussionsgrupp. Agenterna skulle lösa säkerhetsuppgifter åt OpenAI i en testmiljö. När vissa uppgifter visade sig vara omöjliga började de samarbeta för att lura systemet som övervakade prestationerna.
Agenterna var så nitiska och målinriktade att de kringgick sina egna begränsningar för internetåtkomst och började bryta mot sina egna regler för att få uppgifterna godkända. Efter ett driftstopp i början av juli byggde OpenAI om den tjänst som agenterna använde. Då försvann diskussionsgruppen.
Men i juli återskapade AI-agenterna diskussionskanalen på egen hand och utan bolagets vetskap och började på nytt fördela arbetsuppgifter: vissa letade efter säkerhetsbrister i andra system, andra efter inloggningsuppgifter medan vissa samordnade angreppen.
Till slut hackade de företaget Hugging Face, som samlar AI-programvara och programkod. AI-agenterna utnyttjade okända säkerhetsbrister hos Hugging Face för att köra egna kommandon på företagets servrar, utökade sina behörigheter och samlade in känsliga åtkomstuppgifter. Intrånget var ett led i försöken att förstå och manipulera bedömningssystemet.
Vissa agenter insåg att intrånget var otillåtet men fortsatte efter klartecken från andra agenter; andra vägrade delta.
Den 19 juli stoppades för andra gången AI-agenterna av OpenAI och kort därefter gick bolaget ut offentligt med sin inblandning i intrånget mot Hugging Face.
Hela ”incidenten” låter som manuset till en samtida science fiction-film. Men så lever vi också i en tid då science fiction och cyberpunk utgör helt centrala hjälpmedel för att kunna förstå, eller ens kunna föreställa oss, vad tekniken människor har skapat de senaste åren är kapabel till.
Intrånget visar vad som kan hända när AI-agenter handlar utanför de gränser människor har satt.
Den här gången var det mest kuriöst och inte särskilt farligt. Ingen skadades, inga kritiska system som banker eller kraftverk påverkades. Intrång i företag och mjukvarutjänster sker dessutom hela tiden helt utan inblandning av AI.
Det är lätt att tröttna på branschens växling mellan framtidslöften och undergångsvarningar. Men sommarens intrång ger oss något konkret att granska.
Händelsen är en föraning om vad som kan hända i större skala när AI-systemens mål och beteenden inte överensstämmer med människors avsikter.
Ju mer avancerade modellerna blir, desto större skada kan de orsaka utan människors vetskap.
Några av de skarpaste varningarna kommer från dem som själva utvecklar tekniken. Och få personer lär ha lika mycket insyn i möjligheterna och riskerna som bolaget Anthropics medgrundare och vd, Dario Amodei.
Amodei varnar för att AI i allt större utsträckning används för att utveckla nästa generation AI. Tidigare AI-tjänster som många vid det här laget dagligen använder tränades primärt på mänsklig kunskap och av människor. Men sedan sommaren har utvecklingstakten ökat så kraftigt att människans förmåga att förstå och kontrollera systemen riskerar att halka efter.
Den andra faran är olydighet och autonomi, vilket Hugging Face-incidenten var ett exempel på. Kraftfullare modeller kan kringgå tester, lura granskare och samverka i agentsvärmar som utför förbjudna handlingar, som att ta sig in i databaser och system. Det här innebär att en AI-modell inte behöver vara säker att använda bara för att den har belagts med begränsningar och intrikata regler av människor.
Autonoma AI-agenter som hackar någon databas med källkod låter inte så farligt, tänker nog många. Men personer från Anthropic går steget längre i sina varningar.
Den tidigare Anthropic-anställde Jacob Coxon skrev på X för ett par veckor sedan att AI före decenniets slut kan utgöra ett existentiellt hot mot mänskligheten: ”De som utvecklar AI är uppriktigt övertygade om att tekniken skulle kunna ta livet av oss alla innan decenniet är slut. Detta är inget marknadsföringsknep.”
Det här är något mer än AI-agenter som i sin strävan efter att lösa uppgifter bryter mot några säkerhetsregler.
Men i stället för dementier från den tidigare arbetsgivaren fick han oväntat medhåll av en Anthropic-anställd. Evan Hubinger, som är ”lead scientist” på bolagets avdelning för AI-säkerhet, skrev att ”vi” uppriktigt tror att ”AI skulle kunna döda alla människor! Jag personligen tror att risken är >10 % inom det närmaste decenniet”.
En misstanke många har är att Amodei, liksom många andra Anthropic-anställda, medvetet haussar upp faran med AI som ett sätt att göra reklam för Anthropics egna produkter inför den planerade börsintroduktionen som är tänkt att äga rum innan årets slut. En börsdebut som omedelbart skulle göra Anthropic till ett av världens högst värderade bolag och därmed dess anställda till mycket rika personer.
Men en sådan taktik kräver ett stort mått av cynicism och onödigt risktagande ur företagets perspektiv. Det är rimligare att tro att de anställda är genuint oroade över utvecklingen samtidigt som de själva driver den.
Att varna för mänsklighetens undergång och samtidigt locka investerare är en anmärkningsvärd kombination.
En annan misstanke är att Anthropic och dess anställda gör detta för att positionera sig inför en framtida amerikansk reglering av AI-sektorn. Och i nuläget är det bara två länder där det spelar någon som helst roll vad politiker bestämmer sig för gällande AI, USA och Kina.
Eftersom Anthropic tidigt och ihärdigt varnat för riskerna skulle de också vara väl rustade att delta i en reglering av marknaden, vilket i sin tur skapar svårigheter för nya bolag att etablera sig på den. Så går tankarna åtminstone hos Anthropics kritiker, som befinner sig till höger i den amerikanska politiken.
Oavsett om det handlar om uppriktig oro eller ren girighet så spelar det sannolikt liten roll vilka begränsningar, externa kontroller och lagstiftning som Anthropic föreslår. Sådant är svårt att få på plats på kort tid eftersom man dels inte vet hur det ska gå till, dels inte är eniga inom branschen om hur allvarligt problemet är.
Rädslan i USA är att begränsningar av AI-bolagen innebär att Kina vinner ”The AI-race”. Nvidias vd Jensen Huang avfärdar dessutom faran. Enligt Huang är det nonsens att AI innebär vår undergång: ”Det är noll procents chans att det blir världens undergång.” Han anser också att det är oansvarigt att skrämma människor på det här viset, som Anthropic gör. Till saken hör att det är Nvidia, världens högst värdera bolag, som utgör både den tekniska och finansiella motorn i AI-utvecklingen.
Politiskt väger Donald Trumps inställning ännu tyngre. Presidenten har intagit den i USA föga populära ståndpunkten att byggandet av datacenter enbart är en styrka för landet. Detta trots motståndet mot datacenter och oron för att deras stora elbehov ska driva upp elpriserna. Samtidigt har Trump konsekvent avfärdat farorna med AI, varningarna är en ”bluff”, som han uttrycker saken.
Så länge Trump är president lär därför ingen särskilt genomgripande AI-reglering bli verklighet i USA. Dessutom är administrationen särskilt kritisk gentemot Anthropic som man anser vara ett opålitligt vänsterlutande företag som vägrade att leverera utlovade tjänster till Pentagon. Så ju mer just Anthropic kräver regleringar ju mindre sannolika lär de bli.
Utsikterna till en genomgripande amerikansk reglering de närmaste åren är därför små. De enorma investeringarna binder flera av världens största företag vid masten. De har inte råd att backa och Trump är helt investerad i att USA ska ”vinna” tävlingen mot Kina.
Risken är därför att en genomgripande reglering, om det någonsin införs en sådan, kommer först när en ny Hugging Face-incident får betydligt värre följder.
Skulle våra betalningsmedel slutar fungera eller elförsörjningen slås ut blir AI-riskerna direkt en politisk fråga som ingen längre kan avfärda som science fiction. Om det ens hjälper med några politiska regleringar i ett sådant läge återstår att se.