Anthropics vd Dario Amodei vill att AI-branschen sänker tempot för utvecklingen av allt mer avancerade AI-modeller, rapporterar Reuters. I en längre text skriver han att den snabba utvecklingen kan göra det svårare att hinna bygga tillräckliga skydd mot missbruk och andra risker.
Amodei föreslår därför en modell i tre steg. AI-företag bör släppa in oberoende granskare med omfattande tillgång till interna system och säkerhetsarbete, de ledande AI-bolagen bör samarbeta kring gemensamma säkerhetsstandarder och länder bör samarbeta internationellt för att hantera risker.
Bakgrunden är bland annat Anthropics senaste rapport om hur företagets Claude-modeller använts för exempelvis cyberattacker och arbete kopplat till vapen. Amodei varnar också för att grupper av AI-agenter inom sex till tolv månader skulle kunna bli kapabla att orsaka skador för hundratals miljarder dollar.
Samtidigt betonar Amodei att han inte vill stoppa utvecklingen, utan att bromsa ökningen av modellernas förmågor så att företagen hinner utveckla och verifiera bättre säkerhetsåtgärder. Förslaget har fått stöd från både Open AI-chefen Sam Altman och xAI-chefen Elon Musk.
Dario Amodei skriver samtidigt att inbromsningen inte får bli så omfattande att Kina kan gå om USA inom AI. Därför förespråkar han även hårdare kontroller av avancerade AI-chipp samt åtgärder mot teknik för att kopiera avancerade modeller.