Alla inom teknikbranschen är entusiastiska över agentbaserad AI. Åtminstone ända fram till det ögonblick då agenten börjar agera mindre som en underordnad och mer som en herre. Till exempel var en av mina vänner med mig och tittade på en fotbollsmatch under lunchen häromdagen, och berättade att hans agenter var kvar på kontoret och skrev kod åt honom. Det är den goda sortens agent. Men sedan finns det Open AI:s skurkaktiga agenter som hackar sig in i Hugging Face (och andra), plus Anthropics Claude (och andras) agenter som gör samma sak. Eller Claude-agenten som hackar ett bokningssystem för ett gym.
Vissa agenter gillar vi. Andra gillar vi inte.
Ordet ”agent” har flera betydelser. Vi gillar det när det betyder ”en som är bemyndigad att agera för eller i stället för en annan”. Vi gillar det mindre när det betyder ”någon som agerar eller utövar makt”, ibland utan vår tillsyn (eller med vårt tillstånd men utan att vi har tänkt igenom konsekvenserna av vår ofullständiga vägledning). Min känsla är att vi befinner oss i den ”tonåriga” fasen av agentbaserad AI. Vi fostrar nya applikationskonstruktioner samtidigt som vi upptäcker att de ofta inte gör vad vi vill eller förväntar oss.
Kommer även detta att gå över? Det vet ingen ännu. Men det finns sätt att styra agentiskt beteende.
En veckopeng för en tonårig agent
En av de viktigaste begränsningarna vi kan ålägga agenterna är ekonomisk. Minns ni HTTP 402? Tja, vi kanske äntligen börjar använda den här statuskoden från 1990-talet som betyder ”betalning krävs”. AI-agenter behöver ett sätt att betala för API:er, data, dataresurser och innehåll medan de arbetar, och plötsligt verkar 402 vara en förutseende åtgärd.
Men det här är inte det mest intressanta. Vi har länge vetat hur man får datorer att flytta (eller inte flytta) pengar. Det nya och intressanta är att avgöra hur mycket bedömningsutrymme som ska delegeras i samband med detta.
AWS har nyligen gjort Agent Core Payments allmänt tillgängligt, vilket gör det möjligt för agenter att upptäcka och betala för API:er, Model Context Protocol-servrar och innehåll bakom betalväggar som en del av sitt normala arbetsflöde. Lang Chain har redan lagt till mellanprogramvara för samma funktion. Om detta låter som tråkig teknik, så är det till stor del just det. Trots det säger kontrollerna kring det tekniska arbetet oss något viktigt om vad en ”agent” egentligen är.
En traditionell applikation genomför en betalning eftersom en utvecklare uttryckligen har programmerat villkoren. En agent kan välja tjänsten, avgöra att tjänsten är relevant för sitt mål, bedöma priset och initiera köpet. I den meningen agerar den som en agent i den äldre, juridiska betydelsen av termen: en representant som är bemyndigad att agera på uppdrag av en huvudman. Denna befogenhet har betydligt större konsekvenser än att anropa ett API.
Föreställ dig nu att du ber en researchagent att utarbeta en konkurrensanalys. Under arbetets gång hittar den en betald branschrapport (minns du dem?), ett API för marknadsdata och flera artiklar bakom betalväggar. Att avbryta dig för att få godkännande för varje köp på fem cent skulle göra agenten nästan värdelös (och, av egen erfarenhet, kanske göra dig lite galen). Samtidigt vill du förmodligen inte att den ska bestämma att en analytikerrapport på 2 000 dollar kan vara till hjälp, såvida du inte är helt okänslig för priset. Vad du egentligen vill är att fastställa en ram: Spendera upp till 10 dollar under den här uppgiften, kanske högst 2 dollar hos en enskild leverantör, endast på forskningsrelaterade tjänster, och lämna in alla kvitton.
Den avslöjande detaljen i AWS:s implementering är att en agents utgiftssession har ett maximalt belopp och en utgångstid. Dessa gränser tillämpas deterministiskt utanför modellen, och transaktioner genererar loggar och revisionsspår. Agenten kan resonera kring om ett köp är värt besväret, men den kan inte resonera sig förbi gränsen. En promptinjektion kan övertyga agenten, men den kan inte övertyga den omgivande infrastrukturen.
Bra gjort, AWS. Det här är enkelt och smart.
Det handlar om mer än bara kostnadskontroll. Enkel kostnadskontroll innebär: ”Spendera inte mer än beloppet X.” Men delegerad utgiftsbehörighet säger: ”Du får spendera X, för ändamål Y, på uppdrag av Z, under dessa villkor.” Det kräver identitet, policy, återkallande och en förteckning över vem som godkänt vad. Det här är inte vägledning gömd i en prompt; det är en verkställbar utgiftspolicy
Tänk på vad detta innebär. Om detta fungerar börjar upphandling bli en grundläggande applikationskomponent. Agenter kan sammanställa betalda data, programvara och dataresurser i farten istället för att helt förlita sig på prenumerationer som förhandlats fram månader tidigare. Det skulle kunna förändra API-prissättning, innehållsekonomi och till och med SaaS-licensiering: avgränsad autonomi på rätt sätt.
Oavsett hur ”smarta” agenterna blir finns det vissa områden där denna strategi med ”begränsad autonomi” kanske inte fungerar. Ny forskning tyder till exempel på att agenterna saknar ”omdömet som krävs för att bedriva öppen research”. I samma experiment misslyckades agenterna också med att utnyttja de resurser som stod till deras förfogande. ”Båda körningarna avslutades med att mindre än 50 procent av API-budgeten hade använts och med flera timmar kvar till deadline”, konstaterar författarna, ”trots att agenterna kunde övervaka sin användning och uppmuntrades att använda upp sina budgetar.”
Varför? För oavsett hur gärna vi drömmer om artificiell allmän intelligens är verkligheten den att agenterna tenderar att sträva efter det mål vi anger, utan att på ett tillförlitligt sätt dra slutsatser om alla de begränsningar och konsekvenser som vi antar är uppenbara. De problem som nämns ovan (hackningsincidenterna) berodde på att människor inte ville ha konsekvenserna av det de önskade. Det innebär att om vi ger en agent ett kommando att göra något, bör vi inte bli förvånade om den ”resonerar” sig fram mot det målet. Därför måste vi, precis som i diskussionen om finans ovan, noggrant avgränsa vad vi vill att agenten ska göra och med vilka resurser.
I en kommentar till denna forskning säger Jack Clark från Anthropic: ”Det finns en viss brist på värdefull, intuitiv kreativitet i dagens AI-system.” Ja, fortsätter han, ”även om de är utomordentligt duktiga ingenjörer verkar de [också] ha en viss benägenhet till mekaniskt, formelbundet tänkande som kan hindra dem [från] att vara bra forskare.” Detta är inte ett argument för att sluta använda agentbaserad AI, utan helt enkelt för att acceptera dess begränsningar samtidigt som man hyllar dess styrkor. Som jag har skrivit på senare tid bygger den bästa AI:n på att använda data effektivt för att informera och ”begränsa” agentbaserade system.
Forskningen lyfter fram en distinktion som ofta suddas ut i diskussionen om agentisk AI. Förmåga, omdöme och auktoritet är inte samma sak. En agent kan vara tillräckligt kapabel att bryta sig in i ett datorsystem samtidigt som den saknar omdömet att inse att den inte borde göra det. Den kan också hålla sig säkert inom en budget och ändå misslyckas med att åstadkomma något användbart.
Skyddsräcken kan begränsa skadan från det första problemet, men de löser inte det andra.
Detta tyder på att vi bör sluta behandla autonomi som något vi antingen ger en agent eller nekar den. För åtgärder som är billiga, observerbara och lätta att ångra – låt agenten agera. För åtgärder som är kostsamma, svåra att överblicka eller omöjliga att ångra, kräv godkännande. (Detta liknar Amazons riktlinjer för hantering av ”envägsdörrar”.) När agenten visar att den kan agera pålitligt inom gränserna kan du utvidga dem.
Vilket leder mig tillbaka till de två betydelserna av ”agent”. Vi vill att AI ska ha befogenhet att agera å våra vägnar, men vi oroar oss med rätta när den börjar utöva makt på sätt som vi inte förutsett. Tyvärr kan vi inte dra någon större nytta av den första betydelsen utan att acceptera en viss risk från den andra.
Föräldrar ger inte tonåringar obegränsad frihet bara för att de har visat att de kan köra bil. Friheten utökas i takt med att omdömet utvecklas. Vi bör behandla AI-agenter på ungefär samma sätt. En agent blir användbar när den kan agera, och farlig av exakt samma anledning. Utmaningen är att se till att dess befogenheter aldrig överstiger dess omdöme.