När det gäller farhågor kring riskerna med AI-system kommer svaret garanterat att vara fyra ord: ”human in the loop”. Diskussionen kan visserligen breddas, men den försäkran är oundviklig. Det är ett uttryck inom AI-styrning som har blivit så uttjatat att du hör det överallt och förmodligen har sagt det själv.
Men it-chefer bör vara försiktiga med påståenden från leverantörer eller team om att de har byggt in ”human-in-the-loop”-system i AI-verktyg, eftersom vissa av dessa påstådda skyddsmekanismer inte är mer än en ren formalitet.
Vissa så kallade ”human-in-the-loop”-system ger inte de anställda som övervakar AI-verktygen varken den kontroll eller den tid som krävs för att åtgärda eventuella problem, påpekar vissa it-experter.
För att ”human-in-the-loop”-system faktiskt ska fungera måste de medarbetare som övervakar AI-verktygen ha den fackkunskap och det sammanhang som krävs för att vidta den åtgärd som AI-verktyget avser när AI:n inte är inblandad, och de måste ha befogenhet att åsidosätta AI:ns beslut, säger Doug Shepherd, chef för offensiv säkerhet hos internetleverantören Cloudflare.
Löftena om ”human-in-the-loop”-system ger it-chefer en trygghet, men den underliggande processen fungerar ofta inte som utlovat, tillägger han.
– Om den mänskliga aktören i systemet kan flagga något men inte faktiskt kan stoppa det, då är det inte en mänsklig aktör i systemet, utan en människa intill systemet. Det är performativ styrning, säger Shepherd.
Shepherd, som talade vid den nyligen hållna CIO 100 Awards and Conference i Frisco, Texas, uppmuntrade deltagarna att omfamna AI och fokusera på projekt som driver på införandet och ger resultat. Organisationer som inte driver på AI-initiativ kommer att hamna på efterkälken, menade han, men han varnade också för att en blind införande, utan fokus på meningsfulla resultat och skyddsåtgärder, kan leda till stora bakslag.
Många organisationer använder ”human-in-the-loop” som en viktig kontrollmekanism, men ingen utsätter den för stresstester, tillägger han.
– Det gör att projekt godkänns, och alltför ofta sköter det det politiska arbetet, men inte riskhanteringen, säger han.
Darren Kimura, vd och koncernchef hos leverantören av AI-integrationsplattformen AI Squared, håller med om att många organisationer lurar sig själva med så kallade ”human-in-the-loop”-system.
– De flesta företag som säger att de har ”human in the loop” har i själva verket en person som bara övervakar processen. Personen kan se beslutet och flagga för en oro, men kan inte stoppa det, ändra det, avvisa det eller eskalera det.
It-chefer bör ställa sig ett antal frågor: Kan granskare stoppa åtgärderna innan de träder i kraft? Kan de ändra resultatet? Registreras deras överstyrningar och tillämpas de i senare led?
– Om svaret på någon av dessa frågor är nej, så övervakar människan bara AI:n, säger Kimura.
För många beslut
Ett annat problem med ”human-in-the-loop”-system är den beslutsutmattning som kan uppstå när medarbetare ombeds granska alltför många AI-beslut och till slut bara trycker på knappar istället för att tänka på konsekvenserna.
AI-granskaren behöver expertis och sammanhang för att utvärdera rekommendationen, tillräckligt med tid för att göra det samt både befogenhet och teknisk förmåga att avvisa eller upphäva den, säger Eric Billingsley, coo och cto på AI-säkerhetsföretaget Trust Scale.
Men även en kvalificerad och bemyndigad granskare kan gradvis sluta utöva sitt oberoende omdöme när AI:n konsekvent har rätt, påpekar han.
– Om systemet har rätt i 95 procent av fallen blir personens uppgift att vänta på det sällsynta fallet då det har fel, säger han.
– Människor är inte särskilt bra på att upprätthålla en kontinuerlig vaksamhet gentemot ett mycket tillförlitligt automatiserat system. Så småningom blir granskningen bara en bekräftelse.
Ett bra AI-system kan leda till bristfällig mänsklig kontroll, säger han.
– När det exceptionella fallet inträffar kan granskaren godkänna det eftersom systemet har tränat dem, genom hundratals korrekta rekommendationer, att lita på det.
Billingsley råder it-chefer att utvärdera ”human-in-the-loop”-system på samma sätt som de övervakar andra säkerhetskontroller. En kontroll måste övervakas, testas och ge bevis för att den fungerar som avsett, säger han.
– En logg som visar att någon klickade på ”godkänn” räcker inte. Man behöver bevis på att personen hade nödvändig kontext, använde sitt eget omdöme och hade befogenhet att åsidosätta AI:n.
Robert Blumofe, cto hos molntjänst- och säkerhetsleverantören Akamai, ser samma problem som Billingsley. Viss form av mänsklig övervakning är att föredra framför helt autonom AI, säger han, men ”human-in-the-loop” kan förvandlas till en tröttsam syssla.
– Stora språkmodeller ger rätt resultat tillräckligt ofta för att lura oss att tro att de är mer tillförlitliga än de egentligen är. Efter att noggrant ha kontrollerat AI-resultatet varje gång och inte hittat några fel avtar noggrannheten, och ”human in the loop” förvandlas till en mekanisk godkännandeprocess.
It-chefer bör ta sig tid att ta reda på vad de ger sig in på när leverantörer eller deras interna team föreslår ett system med mänsklig inblandning, säger Blumofe.
– Det är oerhört viktigt att förstå exakt hur systemet är utformat och när och hur människan kommer att interagera med AI:n.
Organisationer bör också undersöka sätt att använda andra tekniker som skyddsräcken för AI, istället för att förlita sig på opålitlig mänsklig övervakning, menar Blumofe.
– Man behöver system som inte bygger på AI i rollen som skyddsmekanism. Dessa tekniska verktyg skulle bidra till att automatisera testning och validering av AI-resultat, flagga problem och ha förmågan att pausa AI:ns arbete. Detta håller människor borta från godkännandeprocesserna, samtidigt som det bidrar till att minska riskerna.
När människor inte är det rätta valet
Andra it-chefer menar att system med mänsklig inblandning inte är den rätta lösningen i alla användningsfall för AI. När AI används för att upptäcka och begränsa cybersäkerhetsincidenter kan det till exempel vara för sent att vänta på att en människa ska godkänna en åtgärd.
– Om en slutpunkt har komprometterats vill man kanske att systemet ska isolera den omedelbart, säger Kimura på AI Squared.
– Att vänta 20 eller 30 minuter på att någon ska godkänna den åtgärden kan leda till att attacken sprider sig.
Målet är inte att involvera en människa i varje AI-beslut, tillägger han.
– Det handlar om att placera rätt person, med rätt sammanhang och befogenheter, vid rätt punkt i arbetsflödet.