Mrinank Sharma jobbade med AI-säkerhet hos Anthropic, som ligger bakom AI-boten Claude, fram till februari i år. Då skapade Sharma rubriker – genom att säga upp sig.
Världen är i fara, skrev han på X, och pekade särskilt ut AI och sin arbetsgivare som ett av hoten.
Artikeln i korthet
I stället flyttade han hem till England för att studera poesi.
Och nu kommer nya rubriker. Jacob Coxon jobbade till häromdagen med AI-träning hos Anthropic. Nu har han också sagt upp sig. Och även enligt Coxon är världen i fara – dödlig fara, till och med.
Han säger till Wall Street Journal att han inte vill vara med i kapplöpningen att skapa en AI som kan ”förbättra sig själv”.
Och i ett längre inlägg på X utvecklar Coxon sitt resonemang.
Anthropic-chefen: ”Han har rätt”
Enligt Coxon drivs företagen bakom AI-utveckling av människor som ”ärligt talat tror att AI kan döda oss alla innan årtiondet är slut”. Han skriver också att: ”ingen annan mänsklig aktivitet ligger på samma nivå av fara”.
Vilket även fick Evan Hubinger att uttala sig via X.
Hubinger är säkerhetsforskare inom den del av Antrophic som jobbar med att få AI att följa vissa regler och sätta ramarna för vad en AI-tjänst får eller inte får göra. En AI-tjänst som utvecklar en egen sorts superintelligens kan, i värsta fall, bryta sig ur ramarna.
Jacob har rätt, vi tror verkligen att AI skulle kunna döda alla människor, skriver han på X och fortsätter:
Personligen tror jag att sannolikheten är över tio procent inom det kommande decenniet.
Han hänvisar samtidigt till att Antrophics interna analys är att risken hos nuvarande AI-modeller är låg.