Under de senaste tre åren har jag, i egenskap av oberoende konsult, rådgivare och branschpåverkare inom molntjänster och AI, samarbetat med ett stort antal företag som sökt min expertis. Jag har hjälpt till att utvärdera, optimera, coacha och stödja deras initiativ inom generativ AI och agentbaserad AI. Dessa uppdrag har inte enbart handlat om teoretiska diskussioner eller leverantörsledda koncepttester. De har omfattat verkliga företagsaktiviteter, inklusive arkitekturdesign, teknikval, driftsättningsplanering, styrningsramverk, integration, kostnadsanalys och operativ planering.
Vissa organisationer har sökt en andra åsikt innan de skalade upp en AI-plattform. Andra hade pilotprojekt som fungerade bra i demonstrationer men kollapsade när de kopplades till riktiga system. Vissa behövde hjälp med att välja modeller, molntjänster, vektordatabaser eller orkestreringsverktyg. Andra ville förstå varför deras dyra AI-investeringar genererade aktivitet men inte mätbart värde.
Eftersom större delen av mitt arbete omfattas av sekretessavtal kan jag inte diskutera de berörda företagen, leverantörerna, arkitekturerna, budgetarna eller de interna besluten. Det är förväntat och lämpligt. Däremot kan jag tala om mönster som jag har observerat inom olika branscher, företagsstorlekar, molnmiljöer och mognadsnivåer.
Den viktigaste lärdomen är enkel: De flesta AI-projekt inom företag misslyckas inte på grund av att modellen är svag. De misslyckas därför att företaget som omger modellen inte är redo.
Teknik kontra resultat
Det första misslyckandemönstret är det vanligaste. Organisationer börjar med en modell, plattform, copilot, agentramverk eller molntjänst innan de definierar det affärsresultat de strävar efter att förbättra. De utgår från ”Vi behöver generativ AI” istället för ”Vi behöver minska handläggningstiden för skadeärenden med X procent” eller ”Vi behöver förbättra andelen ärenden som löses vid första kontakten inom kundtjänsten med en faktor X.”
Skillnaden är viktig. AI är inte en affärsstrategi. Det är en teknisk kapacitet som kan stödja en affärsstrategi – eller inte. När företag hoppar över affärsproblemet och går direkt till verktyget blir det typiska resultatet en polerad demo som söker en anledning att existera.
Alltför många projektbeskrivningar använder formuleringar som ”förbättra produktiviteten”, ”främja innovation” eller ”modernisera kunskapsarbetet”. Dessa kan vara värdefulla ambitioner, men de är inga krav. De definierar inte utgångsläget för prestanda, målvärden, antaganden om införande, kostnadsbegränsningar, risktolerans eller operativt ansvar. Det är så här AI-projekt blir dyra experiment. De väcker ledningens intresse, ger upphov till några imponerande skärmdumpar och går sedan i stå när ekonomiavdelningen frågar vad som har förändrats i verksamheten. Om svaret är vagt har projektet aldrig utformats på rätt sätt.
Isolerade pilotprojekt
Det andra mönstret för misslyckanden är det isolerade pilotprojektet. AI-systemet kan sammanfatta dokument, besvara policyfrågor, generera e-postmeddelanden, skriva kodutkast eller söka i en kunskapsbas. Alla gillar demonstrationen. När teamet försöker gå vidare till produktion inser man att systemet inte är kopplat till plattformar för ERP, CRM, leveranskedjan, inköp, HR, ekonomi, skadereglering, tillverkning eller kundtjänst.
Det är då projektet blir svårt.
Företagsvärdet finns sällan i isolerade chattfönster. Det finns i arbetsflödena. Det finns i processerna från order till betalning, från inköp till betalning, skadereglering, kundonboarding, försäljningsverksamhet, mjukvaruleverans och fältservice. Om AI inte kan fungera säkert inom dessa arbetsflöden förblir det ett sidoprogram. Det är här arkitekturen blir viktigare än valet av modell. Produktionssystemet måste hantera identitet, auktorisering, revisionsspår, transaktionsgränser, latens, dataklassificering, hantering av undantag, observerbarhet och återställning. En sandlåda kan bortse från dessa komponenter. Ett företag kan inte det.
Många organisationer förväxlar ett framgångsrikt pilotprojekt med en skalbar kapacitet. Det är inte samma sak. Ett pilotprojekt visar att en modell kan utföra en uppgift under kontrollerade förhållanden. En skalbar kapacitet visar att företaget kan integrera, säkra, styra, övervaka, finansiera och driva den uppgiften över tid.
Förstärkning av dåliga data
Generativ AI är beroende av tillförlitligt sammanhang. Om organisationens data är fragmenterad, duplicerad, inaktuell, felmärkt, otillgänglig eller dåligt styrd kommer AI-systemet inte att lösa problemet som genom ett trollslag. Det kommer att generera flytande svar baserade på opålitligt sammanhang. Detta är en av de generativa AI:s farligaste egenskaper. Traditionella system misslyckas ofta på uppenbara sätt. En rapport saknar siffror. En översiktspanel stämmer inte. Ett dataflöde bryts. Generativ AI kan misslyckas och ändå låta otvetydigt säker, även när den har fel.
Många företag försöker använda AI för att kompensera för år av underinvesteringar i dataarkitekturen. De har flera kundregister, motstridiga produkttaxonomier, föråldrade policydokument, oklassificerade filer, bristfällig metadata, inkonsekventa regler för bevarande och oklart ägarskap av data. Sedan lägger de till ”retrieval-augmented generation” och hoppas att modellen ska kunna reda ut det.
Det kan den inte.
AI gör inte dåliga data bra. Den gör dåliga data lättare att använda. Det innebär att bristfällig datastyrning blir en större risk, inte en mindre. Om organisationen inte vet vilket dokument som är giltigt, vilket system som är källan till sanningen eller vilken användare som kan se vilka data, kommer AI-arkitekturen att ärva den förvirringen.
Agenter utan processdesign
Agentbaserad AI får mycket uppmärksamhet, och en del av den uppmärksamheten är berättigad. Agenter kan samordna uppgifter, anropa verktyg, hämta sammanhang, interagera med system och automatisera arbetsflöden som är mer komplexa än enkla chattgränssnitt. Om de används på rätt sätt kan de leverera verkligt värde.
Agenter åtgärdar dock inte bristfälliga processer; de blottlägger dem.
En AI-agent kan inte förvandla odokumenterade, tvetydiga, undantagsfyllda, politiskt omstridda eller på stamkunskap beroende processer till ett överskådligt arbetsflöde. Den kommer istället att automatisera förvirringen. Den kan anropa fel system, välja fel godkännandeväg, lita på fel datakälla eller fortsätta att gå i en ändlös loop av åtgärder eftersom stoppvillkoret aldrig definierades korrekt.
En agent behöver tydliga mål, pålitliga verktyg, avgränsad befogenhet, eskaleringsvägar, övervakningsmöjligheter och återställningsprocedurer. Utan dessa kontroller implementerar företaget inte intelligent automatisering. Det implementerar istället risker via ett konversationsgränssnitt.
Misstaget är att behandla agenter som en ersättning för processdesign. Det är de inte. Agenter är ett automatiseringsmönster som ska tillämpas efter att du har förenklat, dokumenterat, styrt och instrumenterat processen. Om människor inte kan förklara hur arbetet ska utföras är det för tidigt att tilldela det arbetet till en agent.
Missförstådd ekonomi
Många generativa AI-projekt verkar billiga i laboratoriet. Användningen är låg, inmatningarna är korta, användarbasen är liten och arkitekturen är enkel. Sedan skalas systemet upp, och ekonomin förändras.
Långa prompter förbrukar fler tokens. Hämtning medför kostnader för inbäddning, lagring, sökning och samordning. Agenter kan anropa modeller upprepade gånger. Modellkedjor multiplicerar inferenskostnaderna. Säkerhetsfiltrering, loggning, övervakning, utvärdering och hög tillgänglighet tillför ytterligare kostnader. Ett pilotprojekt som verkade billigt kan plötsligt bli ett problem när det gäller produktionskostnaderna.
Företag måste mäta kostnaden per interaktion, kostnaden per slutfört arbetsflöde, kostnaden per löst ärende och kostnaden per affärsresultat. Planen behöver också modellrouting, caching, optimering av inmatningsuppmaningar, segmentering av arbetsbelastningen samt riktlinjer för att avgöra när en mindre eller billigare modell är tillräcklig.
Låt oss säga att ett nytt AI-system sparar två minuter för en medarbetare, vilket motsvarar X kronor i besparingar. Det låter bra på papperet. Men det är bara halva ekvationen. Vad händer om det kostar mer än X kronor i inferens-, infrastruktur- och driftskostnader? Någon måste svara på den frågan innan AI-projektet tas i drift.
Styrning i efterhand
Säkerhet, regelefterlevnad, styrning och drift tas ofta in först efter att demon har byggts. Det är en av anledningarna till att AI-projekt går i graven precis innan de ska tas i produktion. AI-system i företag hanterar kundregister, reglerade data, immateriella rättigheter, juridiska dokument, finansiella rekommendationer, medarbetarinformation och operativa kontroller. Det här är inga vardagliga arbetsbelastningar.
När styrningen sköts på rätt sätt fungerar den som ett system som möjliggör, inte som en bromspedal. Den definierar vad som kan gå snabbt, vad som kräver granskning, vad som måste loggas, vad som behöver mänskligt godkännande och vad som aldrig bör automatiseras.
AI-system måste också ta hänsyn till förändringar. Modeller förändras. Inmatningsuppmaningar förändras. Data förändras. Regleringar förändras. Användarbeteende förändras. Företagspolicyer förändras. Någon måste ta ansvar för resultatet efter driftsättningen, inte bara äga demonstrationen innan finansieringen.
Vi befinner oss vid en vändpunkt när det gäller AI. Att ha flest pilotprojekt eller de största budgetarna garanterar inte framgång. Företag som vill vinna AI-kapplöpningen kommer att koppla AI till verkliga affärsprocesser, ren data, skalbar arkitektur, mätbar ekonomi, säkerhet, styrning och disciplinerad drift.
Alla andra kommer att fortsätta producera imponerande pilotprojekt som aldrig blir hållbara företagsfunktioner.