Det är omöjligt att uppnå avkastning på investeringen utan att känna till den totala ägandekostnaden (TCO) för ett initiativ – och när det gäller AI upplever it-chefer att kostnadsberäkningarna är allt annat än enkla.
Kostnader för prenumerationer och tokens utgör en stor del av beräkningen, men flera andra faktorer påverkar kostnaden för AI-projekt, säger Ben Schein, chef för AI och analys hos AI-dataplattformsleverantören Domo. De viktigaste av dessa är kostnaderna för molninfrastruktur och den tid som personalen lägger ner på att styra eller korrigera AI-resultaten, säger han.
Dessutom har många organisationer flera avdelningar som använder olika AI-verktyg för vitt skilda ändamål.
– Det finns inte någon enskild huvudbok, säger Schein.
– Just nu, och kanske under överskådlig framtid, finns det en slags strategi med flera huvudböcker för hur allt detta fungerar.
Ett skiftande paradigm
Även om kostnaderna per token har sjunkit avsevärt under de senaste två åren varierar kostnaderna kraftigt mellan olika modeller och AI-leverantörer, och prissänkningarna uppvägs ofta av ökad användning. AI-leverantörerna har dessutom utforskat andra typer av förbrukningsbaserad prissättning, bland annat baserat på API-anrop, beräkningstid eller antal bearbetade dokument.
Allt detta gör det svårt att mäta den totala ägandekostnaden (TCO), säger Schein.
– Man har olika typer av abonnemang, man har förbrukningen och tokeniseringen, och man har en del av infrastrukturen som man kanske betalar för. Det finns också en personalkostnad som medför ny tid för verifiering och granskning, och om AI:n är slarvig eller skapar fel kan du oavsiktligt öka dina kostnader utan att veta om det.
Det är svårt att mäta den totala ägandekostnaden eftersom AI inte har en enda kostnadsställning, menar Shane Cronin, chef för finops- och ITAM-tjänster hos systemintegratören SHI.
– När du väl tittar på fakturan har du att göra med tokenförbrukning, molninfrastruktur, flera AI-modeller, styrningsverktyg, integrationsarbete och, i allt högre grad, autonoma agenter som fattar beslut över olika system, säger han.
It-cheferna i många organisationer mäter fortfarande AI:s framgång utifrån snäva tekniska mått istället för att prioritera affärsresultat, tillägger Cronin.
– Att beräkna tokenkostnader är relativt enkelt. Att beräkna om dessa token faktiskt har skapat mätbart affärsvärde är mycket svårare. Det är där de flesta cio:er befinner sig i dag.
Oförutsägbarhet och dolda kostnader
Michael Moran, teknik- och informationschef hos kontaktcenterleverantören NQX, ser flera andra faktorer som leder till ytterligare oförutsägbarhet när det gäller AI-kostnader.
Till exempel stiger kostnaderna för datacenter, AI-leverantörer börjar gå över från subventionerade priser till lönsamhet, och organisationerna har allt mer komplexa användningsfall för AI, säger han.
– It-chefer bör dämpa förväntningarna på att AI i sig sänker kostnaderna. Istället är det viktigt att förstå att full automatisering sannolikt kommer att bli oöverkomligt dyrt för de flesta företag, och att varumärken kommer att behöva balansera AI-investeringar med strategier för mänskligt engagemang som förbättrar det långsiktiga värdet snarare än att sänka kostnaderna på kort sikt, säger han.
Om AI-implementeringar fungerar exakt som förväntat redan från start bör den totala ägandekostnaden vara relativt enkel att beräkna, säger han. Men agentbaserade AI-implementeringar kräver ofta mycket mer mänsklig träning och inblandning än väntat.
– Det här är de dolda kostnaderna som ofta underskattas eller ignoreras helt när man initialt beräknar TCO, säger Moran.
Insyn är det första steget
Chris Cagnazzi, innovationschef hos it-lösningsleverantören Presidio, är en av de it-chefer som försöker få grepp om komplexiteten i att beräkna AI-TCO genom att tillämpa strategier från molnmigrationseran.
Cagnazzi har anpassat Presidios plattform för kostnadsoptimering i molnet, PRISM, för att spåra AI-kostnader internt och hjälpa kunderna att göra detsamma.
Det första steget mot att spåra AI-kostnaderna är insyn, säger han. It-chefer bör känna till varje modell som körs inom deras organisationer, kostnaden per användare och månad samt vilka typer av promptar varje användare skriver, förklarar han och tillägger att Presidio använder verklig telemetri för att spåra den interna AI-användningen, liksom interna verktyg för att styra promptar till kostnadseffektiva AI-modeller.
Det andra, svårare, steget är att omsätta insikten i handling.
– Man måste fundera på att koppla användningen tillbaka till ägarna, oavsett om det är användare eller grupper. Sedan tittar man på: vilka avvikelser finns det? Och om man tittar på dessa avvikelser, har man då styrning på plats för att hantera överskridanden?
Vad Presidio har upptäckt är att kostnaden för AI-tjänster endast utgör cirka 30 procent av den totala kostnaden, konstaterar Cagnazzi.
– De övriga kostnaderna ligger egentligen inom områden kring den dolda AI-stacken. Saker som rör orkestrering eller hämtning, övervakbarheten av säkerhetsrälsen, eller omläsningar och omgörningar. Det finns en hel del kostnader som folk missar.
Medan traditionella it-kostnader kan vara ganska förutsägbara, drivs AI-kostnaderna av användningen och kan öka eftersom medarbetarna upprepade gånger använder ineffektiva promptar, säger Cagnazzi.
– Utgifterna är svåra att förutse; det är svårt att se de verkliga dolda kostnaderna bakom fakturan. Om den prompten är mindre effektiv kan den leda till en faktura som är 100 procent högre än vad den borde vara.
Den goda nyheten, säger Domo:s Schein, är att it-chefer har många variabler att spela med för att kontrollera AI-utgifterna. De kan uppmuntra användare att använda mer kostnadseffektiva AI-modeller, de kan spåra medarbetarnas användning av AI och de kan testa olika promptar och andra interaktioner för att se vad som är mest kostnadseffektivt, säger han.
– Prisskillnaden mellan de olika modellerna är enorm. Man skulle kunna säga: jag får ingen avkastning på den här investeringen, om jag kunde få samma resultat med en modell som kostar en trettiondel så mycket, skulle jag kanske få avkastning, säger han.