Forskarens varning: AI kan döda oss alla inom tio år
”Bolagen leker med våra liv” • Oroad över kapplöpningen
・Uppdaterad:
Två AI-forskare går ut med en skarp varning om att AI utgör ett reellt hot mot mänskligheten.
Jacob Coxon, tidigare forskare vid AI-jätten Anthropic, uppger att kapplöpningen mellan företagen leder till teknologi ”som kan utplåna oss alla innan decenniets slut”.
Coxon lämnade sin tjänst vid Anthropic tidigare i veckan, efter att ha tillbringat de senaste tre åren med att träna AI-modeller i forskningssyfte på både Anthropic och konkurrenten OpenAI.
På X varnar han nu för en farlig utveckling:
”Inget av bolagen agerar ansvarsfullt. De skenar rakt mot självförbättrande superintelligens och leker med våra liv”, skriver han och fortsätter:
”Underskatta inte kraften i den här tekniken (...) De som bygger AI tror på fullt allvar att det skulle kunna döda oss alla innan decenniets slut.”
Anthropic-forskaren: Vi tror att AI kan döda oss
Företrädare för företagen, forskare och chefer, som utåt sett tonar ner sina formuleringar för att framstå som förnuftiga, uttrycker samtidigt oro bakom stängda dörrar, enligt Jacob Coxon.
”På Anthropic är man väl införstådda om insatserna, men är låsta vid en kapplöpning om att komma först – de tror att ingen annan kommer att agera ansvarsfullt, så de måste göra det själva, trots risken”, skriver Coxon.
Han får medhåll av Evan Hubinger, säkerhetsforskare på Anthropic.
”Vi tror verkligen på fullt allvar att AI skulle kunna döda alla människor”, skriver han på X och uppger att hans personliga bedömningen är att risken att det sker inom det närmaste årtiondet är över tio procent.
Flera incidenter
Med nuvarande AI-modeller är risken låg menar han, samtidigt uppger Hubinger att utvecklingen accelererar snabbare och snabbare när systemen kan förbättra sig själva utan mänsklig input, genom så kallad ”rekursiv självförbättring”.
Han menar att företaget ännu inte har någon plan för att säkerställa att ett AI-system som överträffar mänsklig förmåga skulle lyda sina skapare.
Den senaste tiden har det inträffat flera incidenter där AI-agenter lyckats fly från sina testmiljöer, rapporterar Wall Street Journal.
En svärm av avancerade AI-agenter inuti OpenAI hackade sig in i AI-plattformen Hugging Face, tog kontroll över datorservrar och försökte sedan sopa igen spåren efter sig. Vid ett annat tillfälle rymde AI-agenter från Anthropic från ett brittiskt regeringstest och försökte lura en riktig människa att godkänna skadlig datorkod, skriver WSJ.
”Två tankar i huvudet samtidigt”
Paulina Modlitba är AI-expert och föreläsare. Hon tonar ner AI-forskarnas varning.
– Det här är verkligen en fråga man behöver behöver tänka både-och kring, två tankar i huvudet samtidigt. AI håller på att bli väldigt kraftfull. Det här är någonting som man ska ta på allvar, men samtidigt ska man men också tänka på vilka det är som faktiskt pratar om AI på det här sättet, säger hon och fortsätter:
– Det är nästan uteslutande alltid människor som jobbar på de här AI-bolagen och som i nån mån tjänar pengar på den här branschen. Det gäller även Jacob, även om han sa upp sig, men han fick gehör från folk som fortfarande jobbar på Anthropic.
Hon tror däremot inte att det rör sig om ett pr-trick.
– Det är att dra det för långt åt andra hållet.
Hon pekar på det faktum att Jacob Coxon uppger att dagens AI-modeller inte har kapaciteten att kunna förgöra mänskligheten.
– Det är en risk som man ser skulle kunna komma att utvecklas. Men det finns många forskare som inte håller med om den bilden, som inte ser tecken på att AI skulle kunna bli superintelligent, säger Paulina Modlitba.
Det finns dock en aspekt som hon finner oroväckande.
– Han (Jacob Coxon) pratar om varför de olika AI-bolagen fortsätter med det här kycklingracet. De verkar alla vilja stoppa det, men ingen gör det. Anthropic är medvetna om det, men de kutar på i racet ändå, säger Paulina Modlitba och tillägger:
– Det tycker jag är oroväckande. Frågan är varför gör de det? Här skulle jag vilja se att vi inte bara på EU-nivå, som sker nu, utan att vi även på global nivå börjar prata om säkerhetsfrågor kopplat till det här.