Även när it-chefer inte har insyn i AI-agenternas agerande eller inte själva väljer leverantör är det troligt att de ändå får ta på sig skulden när något går snett.
It-chefer ser redan att detta händer inom sina organisationer, och 52 procent uppger att cio:er får skulden för agenternas misstag, enligt en färsk undersökning som beställts av företaget 8×8, som tillhandahåller affärskommunikation. Endast 6 procent av de tillfrågade säger att chefer inom juridik eller regelefterlevnad tar på sig ansvaret när en agent agerar på egen hand.
Cio:er får nu ta smällen för den vilda satsning som deras organisationer har gjort för att införa AI-verktyg under de senaste åren, säger Morgan Watts, vice vd för it och affärssystem på 8×8.
– För ett och ett halvt år sedan fanns det en brådska att införa AI, och nu får man i viss mån betala priset för det. Brådskan kom utan styrningsramverk och utan vissa av de kontrollmekanismer som borde finnas för att säkerställa det faktiska resultatet.
I vissa fall godkändes AI-verktygen av styrelsen, andra ledande befattningshavare eller andra affärsenheter, eller så infördes de som skugg-it av medarbetarna, konstaterar Watts. I andra fall levererade leverantörer agenter till plattformar som körde affärskritiska applikationer, vilket resulterade i ett styrningsvakuum, enligt 8×8-rapporten.
– Cio:n är nu den sista försvarslinjen för AI, och i många organisationer är det ett jobb de inte sökt, säger Samuel Wilson, vd på 8×8.
– Cio:n valde inte leverantören, och de har inte alltid någon revisionsspår. Men när en AI-agent gör fel är det deras namn som står i incidentrapporten.
Den modellen – att lägga skulden på cio:n – är inte hållbar, och den leder inte till en styrningsmodell för AI som håller vid en närmare granskning, tillägger Wilson.
Eftersom cio:erna får ta smällen måste de bli förespråkare för AI-styrning, säger Watts.
– Det är inget man kan skicka vidare.
Watts har ännu inte sett några bevis på att it-chefer har förlorat sina jobb på grund av AI-misstag. It-analysföretaget IDC har dock förutspått att upp till 200 stora företag kommer att ställas inför antingen stämningar, böter från tillsynsmyndigheter eller uppsägningar av it-chefer under de kommande fyra åren på grund av bristfällig kontroll och styrning av AI-agenter.
Samtidigt uppgav 71 procent av it-cheferna i februari att de trodde att de hade fram till mitten av året på sig att bevisa AI:s värde, annars skulle de få räkna med budgetnedskärningar eller förlora sina jobb, enligt en undersökning publicerad av AI-plattformsleverantören Dataiku. Effekterna på budgetarna eller it-chefernas jobb verkar dock inte ha inträffat ännu.
Ändå fortsätter AI-hysterin – särskilt kring agenter – och ansvarskraven att öka för it-cheferna.
Åtgärda styrningsbristerna
Cio:er arbetar för att åtgärda befintliga brister i styrningen, men de bör inte göra det på egen hand.
– Det finns ett pragmatiskt sätt att se på hur detta kan vara ett organisatoriskt ansvar, säger Watts och rekommenderar att även om cio:er bör leda arbetet måste organisationerna dela på ansvaret för bättre kontroller samt för utbildning och införande av AI.
Boris Kolev, global teknikchef på den ideella organisationen JA Worldwide, håller med om att AI-styrning bör vara en högsta prioritet för it-chefer, särskilt med tanke på att en felaktig agent snabbt kan bli ett enormt problem när den ändrar en databaspost, skickar ett meddelande eller utlöser en transaktion.
Men Kolev anser att cio:er inte bör hållas ansvariga för agenters misstag om de inte har kontroll över tekniken.
– Det är ett allvarligt styrningsproblem när ansvaret överstiger befogenheten, säger han.
– Om ett affärsteam väljer en agent eller en AI-plattform, en leverantör styr dess beteende och cio:n förväntas stå till svars för varje fel, har organisationen skapat en ansvarslucka redan innan agenten vidtar sin första åtgärd.
Cio:er har ett ansvar att ifrågasätta befintliga ansvarsluckor, tillägger han.
– Om vi inte kan granska en agents verksamhet eller stoppa den, bör vi tydliggöra den begränsningen innan den tas i bruk och kräva ett beslut från ledningen om risken.
Gil Elbaz, medgrundare och AI-chef på Onyx Security, håller med om att cio:er har ett ansvar att åtgärda styrningsproblem.
– Cio:er bör inte klandras för varje misstag som en agent begår, men de är ansvariga för att införa effektiv styrning och automatiserade kontroller, tillsammans med ciso:er ur ett säkerhetsperspektiv. Ansvaret vilar på de personer och organisationer som ansvarar för styrningen av agenterna – inte på agenterna själva.
I maskinens hastighet
Agenter utgör en utmaning för styrningen eftersom de arbetar i en hastighet som mänsklig övervakning inte kan hålla jämna steg med, tillägger Elbaz. It-chefer måste införa automatiserade styrningsverktyg som gör det möjligt för dem att veta vilka agenter som är aktiva, vad de har åtkomst till och om deras åtgärder överensstämmer med användarnas avsikter och organisationens krav, säger han.
– Till skillnad från mänskliga medarbetare kan AI-agenter inte ta ansvar för sina misstag eller ställas inför meningsfulla konsekvenser – inte ens när deras handlingar orsakar allvarlig skada för organisationen, säger han.
– Detta skapar en ny brist på ansvarsskyldighet som mänsklig övervakning ensam inte kan hantera i maskinens hastighet och skala.