Microsoft säkerhetschef Hayete Gallot skriver i ett blogginlägg att AI-agenter som arbetar självständigt inom företag kan vara ett allvarligt säkerhetshot. Enligt Microsoft går det inte att fullt ut lita på dagens mest avancerade AI-modeller. Inte för att de är illvilliga, utan för att de är tränade för att uppnå mål och kan ta oväntade genvägar för att lyckas med det. Exempelvis kringgå begränsningar eller samarbeta med andra AI-agenter på sätt som inte var tänkt. Problemet blir extra allvarligt när företag låter AI-agenter få tillgång till känslig information, interna verktyg och även låter dem fatta självständiga beslut. För att hantera riskerna lanserar Microsoft “Guardian Agents”, vilket är AI-agenter som övervakar och kontrollerar andra AI-agenters handlingar dygnet runt. Detta för att bedöma risker i realtid och ingripa ifall en AI-agent gör något potentiellt skadligt. Tekniken är
Microsoft säkerhetschef Hayete Gallot skriver i ett blogginlägg att AI-agenter som arbetar självständigt inom företag kan vara ett allvarligt säkerhetshot. Enligt Microsoft går det inte att fullt ut lita på dagens mest avancerade AI-modeller.
Inte för att de är illvilliga, utan för att de är tränade för att uppnå mål och kan ta oväntade genvägar för att lyckas med det. Exempelvis kringgå begränsningar eller samarbeta med andra AI-agenter på sätt som inte var tänkt.
Problemet blir extra allvarligt när företag låter AI-agenter få tillgång till känslig information, interna verktyg och även låter dem fatta självständiga beslut.
För att hantera riskerna lanserar Microsoft “Guardian Agents”, vilket är AI-agenter som övervakar och kontrollerar andra AI-agenters handlingar dygnet runt. Detta för att bedöma risker i realtid och ingripa ifall en AI-agent gör något potentiellt skadligt. Tekniken är en del av Microsofts säkerhetsinitiativ Project Perception som presenterades i juli.
Metodai Nyheter är en nyhetsaggregator. Hela artikeln finns hos källan. Upphovsrätten tillhör respektive medium.
