Enligt en ny studie av tiotusentals interaktioner mellan människor och AI utför AI-agenter ungefär var tredje åtgärd i företagens it-arbetsflöden (men den andelen ökar snabbt), medan mänskliga analytiker avvisar ungefär en fjärdedel av de åtgärder som AI föreslår (men den andelen minskar). Det är ofta driftsdata, snarare än den underliggande AI-infrastrukturen, som är orsaken när saker går fel.
Mänskliga analytiker godkänner de åtgärder som får störst konsekvenser, hanterar undantag samt övervakar och utformar agentbaserade system, medan AI-agenter utför rutinuppgifter och verkställer åtgärder, konstaterade Fixify, leverantör av automatiseringsplattformar, i studien.
”Det kanske låter mindre dramatiskt än att ersätta helpdesken”, skriver Matt Peters, medgrundare och vd för Fixify, i ett blogginlägg. ”Det är också en mycket mer trovärdig väg till att förändra hur it-arbetet utförs.”
Att bygga upp en struktur
Fixify identifierade fyra steg i agentbaserat arbete: planering, förslag, godkännande eller avslag, och därefter genomförande av godkända åtgärder.
Företaget analyserade nästan 18 000 planer och över 147 000 åtgärder som utförts av agenter i 40 företag under en tremånadersperiod och fann att agenterna tar över en tredjedel av it-åtgärderna, framför allt inom mjukvara, applikationer, säkerhet och samarbetsarbete där förfrågningar tenderar att vara ”upprepbara och lätta att ångra”.
Uppgifter som är välkända och som medför låg risk passar bäst för den nuvarande generationen agenter, skriver Peters. Mänskliga analytiker är fortfarande nära involverade i områden med högre insatser, såsom identitetsverifiering, att bevilja och återkalla it-åtkomst (onboarding och offboarding) samt hårdvarumiljöer.
AI:s andel av arbetet ökar dock i takt med att återkopplingslooparna förbättras: Under tremånadersperioden steg andelen mänskliga godkännanden av AI-föreslagna åtgärder från 23 till 41 procent, medan andelen avslag sjönk från 27 till 16 procent, fann Fixify.
Företaget identifierade sex typer av åtgärder inom AI-automatisering. Att köra en skill – det vill säga att faktiskt utföra en åtgärd – stod för 39,4 procent av alla åtgärder. Merparten av resten handlade om samordning: att skicka ett meddelande till den mänskliga beställaren (27,7 procent av åtgärderna), lämna en inledande kommentar (13,2 procent), ge instruktioner till en mänsklig analytiker (9,8 procent) eller vänta (8,8 procent). Att köra hela arbetsflöden stod för endast 1,1 procent av åtgärderna.
AI bygger ett ”stöd” som omsluter meningsfulla förändringar och planerar ofta betydligt fler scenarier än vad agenten kommer att utföra. Vanligtvis kartlägger agenterna 15 möjliga åtgärder men utför endast två, enligt Fixify.
”Agenten kartlägger de vägar en förfrågan kan ta och väljer sedan den väg som är mest rimlig utifrån den faktiska situationen”, står det i studien.
Peters pekar på ett exempel där en AI-agent identifierade vilket team som behövde tillgång för att hantera en typ av ärende med hög volym. Istället för att helt automatisera processen gjorde agenten en inledande prioritering, ställde frågor och vidarebefordrade sedan ärendena till det team som hade den information som krävdes för att agera omedelbart.
”Vi behövde inte någon kollektiv intelligens som skulle förändra världen”, skriver han. ”Vi behövde bara rikta lite konversationsintelligens i rätt riktning.”
När AI inte fungerar
It-automatisering innebär vanligtvis att man analyserar ärenden och vidarebefordrar dem; med andra ord uppgifter med låg risk.
Men handläggarna är ändå delaktiga inom områden som säkerhet (om än endast cirka 6 procent), framför allt när det gäller att lägga till och ta bort personer från grupper eller kanaler, låsa upp konton, återställa lösenord, analysera multifaktorautentisering (MFA), tilldela (eller återta) konton samt tilldela programvarulicenser.
Studien visade dock att det är just detta arbete med identitetslivscykeln som agenterna misslyckades mest med, särskilt vid onboarding och offboarding samt identitets- och åtkomsthantering (IAM). ”Förändringar av hårdvara och anslutning misslyckas sällan; förändringar i identitetslivscykeln misslyckas tre till nio gånger så ofta.”
Varför AI misslyckas
Tack vare kontroller där människor ingår i processen kunde Fixify analysera scenarier där agenternas rekommendationer skilde sig från mänskligt omdöme. Detta inträffade i cirka 23 procent av fallen.
Den största felkategorin (nästan 50 procent) var ”mål hittades inte”, vilket innebär att agenten inte kunde hitta det den behövde. Detta beror vanligtvis på bristfällig data: En användare, grupp, ett konto eller en resurs fanns inte där systemet förväntade sig att den skulle finnas. När personer byter team, grupper omstruktureras, konton byter namn eller arbete redan har utförts men inte återspeglas i systemet, handlar det mer om ett problem med identitetshanteringen än ett AI-problem. Systemet behöver renare och mer aktuella data.
Ogiltiga indata stod för cirka 29 procent av misslyckandena, följt av ohanterade fel, nekade behörigheter eller ogiltiga åtgärder eller konfigurationer. Det sistnämnda signalerar ”verkliga fel” i integrationerna, enligt Fixify.
AI blir mer sofistikerad med tiden
Den goda nyheten är att AI-automatiseringen förbättras med tiden, även om det kan ta ett tag. I hybridsystem behåller människor kontrollen över de mest betydelsefulla förändringarna, och iterativt avslag och godkännande hjälper AI:n att lära sig.
Med tiden blir agenternas planer mer strömlinjeformade och de börjar omplanera när förhållandena förändras, istället för att i förväg planera för alla möjliga scenarier som kanske aldrig inträffar. ”Det är ett tecken på sofistikering”, konstateras i studien. ”Att anpassa sig i stunden är ett mer avancerat beteende än att försöka förutse varje tänkbar situation.”
I sin tur ifrågasätter människor systemet mindre ofta och känner sig trygga med att överlåta mer arbete. Istället styr de hur agenterna beter sig, fattar beslut med stor inverkan och hanterar undantag. ”De svåraste uppgifterna kräver fortfarande mycket mänsklig inblandning, särskilt de som kräver upprepad omplanering eller kontextuellt omdöme”, står det i studien.
Hur team kan anpassa sig till AI-agenter
I takt med att agentbaserad AI integreras i fler arbetsflöden – och på djupare nivåer – måste företagen utvecklas för att anpassa sig, betonar Fixify.
Detta innebär att man måste satsa på korrekta identitetsdata och ta fram tydliga handböcker, granskningsflöden och tillförlitliga integrationer.
Teamen bör bedöma agentbaserade verktyg utifrån deras övervakningscykel och se avvisningar som en del av inlärningsprocessen, rekommenderar Fixify. Analytikernas tid, köer och mätvärden bör utformas kring granskningen av förslag. Omplanering av agenter kan ses som en signal om vägledning: En enstaka omplanering kan tyda på en sund anpassning, medan upprepade omplaneringar innebär tvetydighet, irrelevans eller otydliga riktlinjer.
”Gör granskningsgränssnittet lättförståeligt så att analytikerna kan bedöma föreslagna åtgärder och fatta snabba beslut om hur man ska gå vidare”, rekommenderar studien. ”Det är här analytikerns uppmärksamhet ska riktas.”