Plötsligt pratade alla om AI-apokalypsen. Det började i förra veckan med att en forskare på Anthropic lämnade sitt jobb.
”De rusar rakt mot en självförbättrande superintelligens och spelar med våra liv”, skrev forskaren Jacob Coxon på X. ”De som utvecklar AI är övertygade om att den kan döda oss alla redan i slutet av detta decennium”.
Han fick strax bekräftelse – av en chef på Anthropic.
”Jacob har rätt här – vi tror verkligen uppriktigt att AI skulle kunna utrota hela mänskligheten! Personligen tror jag att sannolikheten är >10 % inom det kommande decenniet. Jag tror att Anthropic gör sitt bästa, men vi har ännu ingen plan för att lösa problemet med alignment för superintelligens och är inte tydligt på väg att göra det”, skrev Evan Hubinger, som leder Anthropics alignment-forskning.
Och när helgen kom publicerade Anthropics vd Dario Amodei en essä där han förespråkar en inbromsning av AI-utvecklingen för att riskhanteringen ska hinna med. Bland annat vill han se oberoende utvärderingar, nya regleringar och global koordination på regeringsnivå.
Amodei fick snart medhåll av både Open AI:s Sam Altman och Elon Musk – vilket i sig är anmärkningsvärt eftersom samtliga inblandade inte direkt gillar varandra – och plötsligt var frågan om det som kallas ”AI safety” högst på den globala agendan där såväl Donald Trump som EU-kommissionen uttalat sig. Begränsa AI? Bromsa utvecklingen? (Trump emot, EU för).
Så vad är det som händer? Varningarna har hörts förut, så varför har det här blivit en fråga just nu?
En del kritiker, framför allt de som vill se en snabbare AI-utveckling, menar att det hela är ett försök till det som kallas regulatory capture. Att de stora AI-labben vill få till regleringar av en sådan art att det bara är de själva som kan leva upp till dem och därmed stänga ute konkurrensen från både mindre uppstickare och framför allt från öppna (kinesiska) modeller.
Det är bara PR, skriker andra, ett sätt att skryta med hur viktig och avancerad teknik man jobbar med, för att locka investerare inför kommande börsnoteringar.
Eller så är inbromsningen ett svepskäl för att dölja det faktum att varken pengar eller kapacitet räcker till just nu, så AI-labben har inte så mycket val.
Eller så är det ett sätt att undvika att ta ansvar – att peka på att ”AI” kommer utrota mänskligheten förflyttar fokus från det högst mänskliga ansvar som AI-labben har för vad deras modeller pysslar med just nu. Som att de hackar sig in där de inte borde, eller driver ungdomar att begå skjutningar eller ta sina liv.
Och Jacob Coxon, han uttalade sig som han gjorde för att få talargig och ett mer inflytelserikt jobb.
Allt detta kan stämma samtidigt, och det är inte osannolikt att det också gör det. Men en sak som tyvärr är väldigt viktig att ha med sig när man följer debatten, inte minst för lagstiftare och andra i maktposition, är att många AI-forskare tror på det här på riktigt. Det har de gjort länge och det är inget nytt.
Vad det är de tror på? Jag antar att ni känner till filosofen Nick Bostroms tankeexperiment med en allsmäktig AI som får i uppgift att tillverka gem och för att göra det förvandlar den både jorden och rymden till en enda stor gemfabrik. Det är exakt den typen av scenarier som många AI-verksamma tar på största allvar. Inte som tankeexperiment utan som reell risk.
För när Amodei, Hubinger och andra pratar om ”AI safety” använder de ofta begreppet inom en intellektuell tradition där förlust av kontroll över superintelligens och existentiell risk har diskuterats på fullt allvar i årtionden.
Väldigt många av de som jobbar i AI-labben, inklusive cheferna, är fullständigt marinerade i en diskurs som är helt främmande för gemene man. De har i över 15 år skolats av bloggar som Lesswrong och Slate Star Codex i den så kallade rationalistcommunityn som med formella tankemodeller försöker hitta äkta sanning för att göra rationella val, och där frågan om AI safety blivit en grundpelare.
Och AI safety i detta fall handlar inte om att motverka att AI-agenter råkar hacka någon, utan just om frågan om en AI som utrotar oss alla. Och delar av den här communityn är alltså övertygade om att risken är högst reell om vi inte hittar något sätt att stoppa den.
Det är också, för en utomstående betraktare, en ganska konstig community där diskussioner om ett visst tankeexperiment under en period rakt av förbjöds på Lesswrong eftersom det ansågs för farligt. Och ett av rationalisternas mest populära verk är ett stycke Harry Potter-fanfiction, skriven av Lesswrongs grundare och rationaliströrelsens store tänkare Eliezer Yudkowsky.
Rörelsen är väldigt Silicon Valley-amerikansk men svenske Nick Bostroms verk är en utgångspunkt för mycket av diskursen och rörelsens tankegods har också dykt upp i den svenska debatten.
Den stora frågan som vanligt folk ställer sig är förstås denna: om det nu är så farligt att det rentav är en existensiell risk, varför slutar ni inte bara? Drar ur pluggen?
Ja, det menar exempelvis Eliezer Yudkowsky att man måste göra.
Men annars är ett vanligt resonemang bland dem som både utvecklar avancerad AI och oroar sig för riskerna att utvecklingen är ofrånkomlig, det går helt enkelt inte att stoppa människan från att utveckla AI. Därmed är det bäst att utvecklingen sköts av de bästa, som vet vad de håller på med, istället för någon som skulle göra ett sämre jobb eller öka riskerna ännu mer (till exempel Kina).
Det är därför Anthropic, som ligger i utvecklingens frontlinje, kallar sig ”an AI safety and research company.” De utvecklar AI för att de också ska hålla i dess tyglar. Vi utvecklar en gud, men han är vår gud och vi hoppas kunna kontrollera honom när han är här, även om vi inte vet hur än.
Jag skriver nu inte detta för att ta heder och ära av rationalisterna eller deras anhängare, de får tro på vad de vill och det går förstås inte att i dag slå fast att de har fel, men samtidigt råder jag absolut ingen att ge sig in för djupt i den här diskursen. Däremot är det som sagt bra att veta vad folk verkligen menar när de pratar om sådant här.
För det blir ett problem om vi börjar blanda ihop saker. Det är viktigt att hålla i sär vilka risker det är man pratar om när man pratar om ”riskerna med AI” och AI safety. Framför allt när det som nu blir en fråga på högsta politiska nivå.
Den sammanblandningen sker i viss mån redan.
En central del i apokalypsteologin är föreställningen om Recursive Self-improvement, RSI, en AI som förbättrar sig själv utan mänsklig hjälp. Det kommer nu allt närmare enligt Dario Amodei och andra forskare. Och det är tanken på en nära förestående RSI i kombination med incidenterna den senaste tiden där dåligt styrda AI-agenter ”på egen hand” brutit sig ur sina sandlådor och begått intrång som nu fått AI-safety-personer att slå larm igen.
Hänger det ihop eller är det två olika saker? Ja, det beror på ens perspektiv.
Ur ett samhälls-, säkerhets- och policy-perspektiv gör man ändå bäst i att hålla i sär riskerna, menar jag. AI-modeller som på grund av bristande styrning, eller illvillig mänsklig styrning, ställer till med problem är en risk här och nu, det har vi sett bevis på. Utan att förbättra kontroller och styrning kraftigt riskerar det att bli ännu värre framöver. Dessutom finns otroligt kapabla öppna modeller där den typen av kontroll är betydligt svårare.
Kort sagt skulle jag om jag vore makthavare fokusera mer på riskerna att en svärm av AI-agenter råkar avfyra kärnvapen eller krascha det finansiella systemet och mindre på att de utvecklas till en AI-gud som förvandlar oss till gem.
—
Den här krönikan är hämtad ur CS Veckobrev, ett personligt nyhetsbrev med lästips, länktips och analyser skickat direkt från chefredaktör Marcus Jerrängs skrivbord. Vill du också ha nyhetsbrevet på fredagar? Skriv upp dig för en kostnadsfri prenumeration här.