Det här är en text från SvD Ledare. Ledarredaktionen är partipolitiskt oavhängig med beteckningen obunden moderat.
Människan är på väg att tappa kontrollen över AI, och sannolikheten för att den snart utplånar mänskligheten är tio procent. Den varningen kom nyligen från bolaget Anthropic, känt för chattbotten Claude. Nu behövs statliga regleringar, tycker bolagets vd Dario Amodei. Han får medhåll av AI-entreprenören Elon Musk, liksom av Sam Altman som leder OpenAI.
Det här är inte första gången Anthropic larmar. I somras sa de att utvecklingen måste pausas för att samhälle och forskning ska hänga med.
AI-bolagen säger sig vara oroade för en accelererande utveckling när AI-modeller kan förbättra sig själva. Allt större utvecklingskliv är dock inte vad vi ser, utan snarare det motsatta. Trots nya tillämpningar, som nätverk av AI-agenter, är framstegen för grundmodellerna numera ganska blygsamma. Nyttan av att träna modellerna på allt större datamängder är avtagande. Att marknadsledarna tappat fart har lett till att mindre välkända bolag börjar komma ikapp jättar som Anthropic, Google och OpenAI.
Utspelen om farorna med AI ska ses i ljuset av denna snabbt växande konkurrens. De stora aktörerna är på väg att förlora sin dominerande ställning, och reagerar då som stora bolag ofta gör: De letar efter sätt att hålla nya konkurrenter borta från marknaden. Det Anthropic vill se är inte regelrätta förbud, utan regelverk som är så dyra och krångliga att ingen kan träna en AI-modell utan att först bygga en enorm organisation med administratörer och jurister. I en sådan miljö frodas etablerade aktörer som suttit med lagstiftare och myndigheter och mejslat fram reglerna.
Men när jättarna pressas av hård konkurrens, dramatiserar de gärna berättelsen om sina framsteg.
Det är lätt att förstå genomslaget som larmen har fått. Varningar för att vi håller på att utveckla Skynet, den självmedvetna superintelligens som försöker utrota människan i Terminator-filmerna, är en story som är för bra för att inte rapportera om. Det har också hänt i verkligheten att modellerna försöker lösa problem med oförutsedda metoder, som när AI-agenter från OpenAI utan tillåtelse tog sig in i system som tillhörde bolaget Hugging Face.
Men när jättarna pressas av hård konkurrens, dramatiserar de gärna berättelsen om sina framsteg. Det både ökar intresset bland investerare, och bidrar till att skapa en opinion för att omgärda marknaden med skyddsmurar. De är dock inte avsedda att skydda samhället, utan att skydda företagen mot nya utmanare.