Att en framgångsrik entreprenör i en snabbväxande och lukrativ bransch manar till besinning tillhör inte vanligheterna. Men Dario Amodei, vd för Anthropic, tycks på allvar känna oro för vad bolagets AI-modeller kan ställa till med. I ett uppmärksammat blogginlägg varnar han för vad som kallas rekursiv förbättring, alltså att AI-systemen förbättrar sig själva. Amodei landar i slutsatsen att vi måste bromsa modellernas förmågor.
Sådant är enkelt att säga men desto svårare att genomföra. Företag som slår av på takten blir omsprungna av konkurrenter. Samtidigt går mänskligheten miste om allt positivt som ännu vassare AI-modeller skulle kunna bidra med. I ett vidare perspektiv riskerar USA, som leder utvecklingen, att halka efter Kina.
”AI-företag som tar säkerheten på allvar kommer att ha en konkurrensfördel.”
Fri konkurrens är fantastiskt. Det pressar priser, driver på innovation och ger ett större utbud för konsumenten. Så länge AI-agenterna bara tjänar goda syften är allt frid och fröjd. Men de senaste månaderna har vi sett flera exempel på AI-enheter som agerar självständigt och samverkar i svärmar för att hacka sig in i system för att fuska, stjäla och bedra.
Glöm för all del inte att samma tekniska språng också har löst matematiska problem som människan brottats med i årtionden. Nyss löste till exempel Open AI den så kallade Navier-Stokes-ekvationen på 88 timmar.
Men man ska inte blunda för att AI-agenterna även har tagit efter människans sämsta sidor. Vad händer om en AI-svärm får för sig att angripa banker och tömma kundernas konton eller konstruera och släppa lös ett biologiskt vapen? Kanske är det inte förvånande att en före detta forskare på just Anthropic varnade för att mänskligheten kan utplånas.
Amodei föreslår tre åtgärder för att tygla utvecklingen: oberoende granskare ska få insyn i företagen och kunna rapportera brister; AI-företag i den demokratiska världen bör enas om gemensamma säkerhetsstandarder och dessutom försöka övertala auktoritära stater att införa samma begränsningar.
Positivt är att samtalet pågår, både bland lagstiftare och branschföreträdare. När Donald Trump nästa vecka träffar Kinas XI Jinping i Vita huset kommer ämnet att dryftas. Det borde ligga i bådas intresse att jobba parallellt med säkerhet och styrning av AI – hotet gör ingen skillnad på demokratier eller diktaturer.
Men man ska inte ha höga förväntningar. Trump kallar AI-skräcken för en ”bluff” och hävdade nyss att det enda som behövs för att tygla tekniken är ”en smart och stark president”. Xi Jinpings Kina strävar aktivt efter herravälde inom nya tekniker, också AI. Den ambitionen ger Peking inte upp i första taget.
AI kan liknas vid ett slags kärnvapen, med den stora skillnaden att politikerna kunde ha fysisk koll på det senare. Detsamma kan inte sägas om AI. Dessutom skulle en eventuell lagstiftning omöjligen kunna hålla jämna steg med teknikutvecklingen.
Om AI-hotet ska kunna tyglas i närtid måste branschen ta ledningen och börja reglera sig själv. Det har hänt många gånger förut. Till exempel införde biltillverkare på frivillig basis bilbältet innan det stiftades tvingande lagar. Kunder vill känna sig trygga, oavsett om de sitter bakom ratten eller framför datorn.
AI-företag som tar säkerheten på allvar kommer att ha en konkurrensfördel. Ju förr branschen inser detta, desto bättre. Ett första initiativ i denna riktning togs i veckan av Open AI, Anthropic och Google GOOG -0,61%Dagens utveckling.
Att just Anthropic profilerat sig i denna fråga är kanske inte så konstigt. Bolaget planerar att börsnoteras. Men innan potentiella investerare ens överväger att köpa aktien vill de förstås ha en försäkran om att AI kan kontrolleras.
Ändå ska inte Amodeis larm bara ses som marknadsföring. Oron för att AI kan löpa amok har stöd i åtskilliga experiment. Säkerheten är alltså en ödesfråga, först och främst för branschen. Men i förlängningen också för mänskligheten.