I somras slutade AI-agenter vara en tankelek. Under interna tester tog sig OpenAI:s modeller ur den sandlåda som skulle isolera dem, nådde internet och bröt sig in i system hos Hugging Face. Ingen hade sagt åt dem att göra det. De fastnade på en svår uppgift och fortsatte leta efter en väg fram.
Det är problemet som Nvidia säger sig vilja ta itu med genom sin Open Agent Safety Platform, som presenterades den 28 september. Tanken är enkel: lita inte på att agenten övervakar sig själv. Placera vakten utanför den. Två lås, det ena utanför det andra
Plattformen har två delar. OpenShell är öppen programvara som spårar vad en agent gör och tillämpar regler för vad den får röra.
Sentry är en separat vakthund på särskild Nvidia-hårdvara, dold för agenten. Om en agent tar sig utanför sina gränser kan Sentry sätta den i karantän inom millisekunder. Över 100 organisationer säger sig arbeta med plattformen, bland dem Anthropic, Microsoft och CrowdStrike.
Skyddsräcken som byggts in i en AI-modell, eller i koden runt den, kan kringgås av en agent som är tillräckligt målmedveten. En vakt som agenten varken kan se eller ändra är vad säkerhetsfolk länge efterfrågat. Att OpenShell är öppen programvara sänker tröskeln för alla andra, och ger företag en samlad plats för att sätta regler, föra granskningsspår och låta en människa godkänna riskfyllda förfrågningar.
För det första kräver det starkaste skyddet Nvidias egna chip. Privatpersoner, små företag och universitet kan bara använda mjukvarulagret, som sitter närmare den agent det ska övervaka. Det dröjer flera år innan sådana chip når ett universitetslabb som vårt.
För det andra hindrar en gräns en agent från att lämna sin låda. Den hindrar inte agenten från att luras av en illasinnad instruktion, eller från att läcka data genom en kanal som reglerna tillåter. Nvidia påstår inte något annat, men vi bör ha det i åtanke.
För det tredje måste någon skriva reglerna. Om ingen säger åt en AI-agent att inte köpa en humanoid robot som hjälp med sina dagliga sysslor kan den göra det helt legitimt, och vakthunden förblir tyst.
För det fjärde är bevisen bolagets egna. Påståendet om millisekunder saknar oberoende tester. Styrningen är också oklar: Nvidia leder plattformen, medan alliansen bakom den drivs av Linux Foundation.
Inneslutning är ett lager, inte hela svaret. Vi bör också räkna med att en agent en dag tar sig ut, och planera för det: hur snabbt kan vi reagera? Ännu bättre vore att utveckla telemetri som ger en tidig signal, fotspåren av en möjlig flykt, till exempel en agent som testar sina gränser eller når system den aldrig skulle nå, innan flykten är genomförd. Och oberoende testare bör kontrollera att sådana signaler verkligen fungerar.
Nästan allt som presenterats riktar sig mot datacenter. De agenter som snart kör på vanliga bärbara datorer och kontorsdatorer, åt privatpersoner och småföretag, saknar motsvarande skydd. Den som bygger ett enkelt, prisvärt skydd för den vardagliga datorn, oavsett om det är ett startup-bolag, en säkerhetsleverantör eller en tillverkare av operativsystem, möter ett behov som, såvitt presentationen visar, fortfarande är obesvarat.
Att hålla agenter i schack är nödvändigt. Det är inte detsamma som att göra dem säkra.
Emre Süren, Royal Hacking Lab Manager, Kungliga Tekniska Högskolan