Det har gått en månad sedan årets mest uppmärksammade säkerhetsincident och svallvågorna är inte i närheten av att avta. Om de någonsin kommer att göra det. Händelsen beskrivs som ett sådant där avgörande ögonblick där allting förändras. Och den har dessutom följts av fler, liknande, incidenter.
Jag ska inte gå in i detalj på vad som hände när Open AI:s agenter hackade kodplattformen Hugging Face men för den som inte hängt med upptäckte Hugging Face i mitten av juli att man var utsatta för en cyberattack och det av ett stort antal AI-agenter. Agenterna visade sig tillhöra Open AI och ingick i ett test av AI-modellers offensiva cyberförmåga, mätt enligt benchmarken Exploit Gym.
AI-agenternas lösning för att få så hög poäng som möjligt var att hitta en väg ut på internet och sedan hacka Hugging Face för att komma över facit till provet.
Hugging Face har en teknisk genomgång av incidenten här och den är väl värd att läsa igenom även om man som jag inte förstår i närheten av allt som står. Omfattningen och turerna är häpnadsväckande nog. Därefter rekommenderas starkt en titt på Open AI:s föreläsning på Black Hat förra veckan där upprinnelsen beskrivs från Open AI:s perspektiv.
Efter Hugging Face-hacket har det framkommit att även AI-modeller från andra leverantörer som Anthropic, Meta och kinesiska Moonshot har ”brutit sig ut” från sina sandlådor och gjort ovälkomna saker.
I de flesta fall har det rört sig om brister i sandlådornas konstruktion som gjort utbrytningarna möjliga, men Hugging Face-fallet sticker ut eftersom agenterna hittade tidigare okända sårbarheter och utvecklade egna zero day-exploits för att ta sig ut på internet. Därmed inte sagt att Open AI är utan skuld, AI-företaget har uppenbart misslyckats med att sätta ramarna för agenternas arbete och kanske framför allt låtit dem härja ”på egen hand” under lång tid i princip helt utan övervakning. Att offret ”bara” blev Hugging Face, en vänligt sinnad branschkollega, får sägas vara en lyckträff.
Jag skriver ”på egen hand” men en sak som är viktig att hålla i huvudet är att även om det ser ut så, och beskrivs så, har AI-modeller fortfarande ingen egen vilja. När medier kanske lite slarvigt skriver om AI-agenter som bryter sig fria, ”going rogue”, och när AI-labben förmänskligar agenternas agerande i sina beskrivningar, så gäller det att komma ihåg att det inte är på riktigt. Språkbruket gör det dock enklare att förstå själva processerna, inte minst eftersom AI-modellernas egen output och dess ”interna tänkande” består av mänskligt språk.
För gemene man kan det se ut som att vi redan nu har AI med en egen vilja och att det är själva AI:n vi ska oroa oss för, att maskinerna är på vippen att förvandla oss alla till gem. Sanningen är ju att agenterna utför sina uppgifter enligt de instruktioner och mål de givits av människor, även om de utför dem på oväntade och extremt avancerade sätt. Det är inte ”AI” som kommer att attackera våra system, det är cyberskurkar och statsstödda hackare som vanligt.
Det förtar dock inte att AI-modellernas kapacitet på cyberområdet nu är på en nivå som får enorma konsekvenser. Som Open AI-forskarna säger i sitt Black Hat-prat så har vi nu för första gången ett konkret bevis på hur det kan och kommer se ut när svärmar av AI-agenter används för att genomföra cyberattacker. Motsvarande exempel på försvarssidan saknas dock, vilket borde oroa.
Som ett brev på posten hörs nu krav på hårdare reglering, även i USA där inställningen varit mer tillåtande höjs allt fler röster, bland annat har det lagts lagförslag om en ”kill switch” för att kunna nödstoppa AI-modeller som tar sig genom skyddsvallarna.
Jag vet inte om det skulle göra så stor skillnad. Givetvis ska det ställas krav på att AI-labben utformar sina skyddsvallar och genomför sina tester på ett säkert sätt. Men krav som är av typen ”trycka tillbaka anden i flaskan” (eller Pandora i lådan) känns rätt fruktlösa. På samma sätt är kraven på att myndigheter ska kunna förhandsgranska nya modeller absolut bra för att få oberoende utvärderingar av teknikens kapacitet, men inte för så mycket mer än så.
För utanför de största amerikanska AI-labben växer sig ju öppen vikt-modellerna allt större, och blir allt bättre, inte minst de som kommer från Kina. Och de modellerna låter sig inte riktigt kontrolleras på samma sätt.
Ur ett rent cybersäkerhetsperspektiv finns det två saker att göra. Konkret här och nu gäller fortsatt att skanna och patcha så mycket man kan, fast helst ännu fortare än vanligt. Men framåt måste givetvis även försvarare utanför de stora techbolagen få tillgång till modeller som är bättre än de som angriparna sitter på. När Hugging Face försökte försvara sig blockerade toppmodellernas skyddsvallar detta, så företaget fick vända sig till öppna GLM 5.2 från kinesiska Z.ai.
Att de mest kapabla modellerna hålls exklusiva för en mindre krets ser ansvarsfullt ut och är säkert bra business men det är suboptimalt för den generella cybersäkerheten. Att begränsa tillgången till de farligaste verktygen kan tyckas vara det bästa för säkerheten men att sprida dem till så många som möjligt är antagligen ännu bättre.
För väldigt snart är AI det enda som skyddar mot AI, om det råder det knappast någon tvekan längre.
—
Den här krönikan är hämtad ur CS Veckobrev, ett personligt nyhetsbrev med lästips, länktips och analyser skickat direkt från chefredaktör Marcus Jerrängs skrivbord. Vill du också ha nyhetsbrevet på fredagar? Skriv upp dig för en kostnadsfri prenumeration här.