Den goda nyheten är att tokenkostnaderna för stora språkmodeller sjunker. Dilemmat är att den totala kostnaden för AI-arbetsbelastningar ökar.
Enligt en prognos från Gartner kommer tokenkostnaderna visserligen att sjunka med 95 procent fram till 2030, men inferenskostnaderna för agentbaserade arbetsflöden kommer att mer än femdubblas under de kommande två åren. Detta beror på att utvecklare av AI-applikationer använder fler – och ofta dyrare – token i takt med att LLM:erna blir allt mer komplexa. Det är vad Gartner kallar ”inferensparadoxen”.
Med andra ord: ”Innovationstakten överträffar kostnadskurvan”, konstaterar Gartner-analytikerna Will Sommer och Sabine Zimmerhansl i sin rapport. ”Marknaden präglas av en illusion om token-deflation.” Köpare utgår farligt nog från att när AI-leverantörerna förbättrar tokenekonomin kommer dessa besparingar att återspeglas i deras utvecklingsplaner. Men, enkelt uttryckt, ”det kommer de inte att göra.”
”Svärmar” av agenter som slukar tokens
Det råder ingen tvekan om att AI levererar enormt värde och ofta är bättre och snabbare än människor på många rutinuppgifter, enligt analytikerna. Agenter kan också snabbare identifiera mönster över isolerade system. Gartner har till exempel sett att kundtjänstagenter har minskat svarstiderna med 99 procent.
Men i takt med att AI utvecklas ökar tokenanvändningen, och tokenvärdet varierar, konstaterar Sommer och Zimmerhansl. Avancerade AI-agenter som kan resonera kostar redan upp till 150 gånger mer per enskild uppgift än grundläggande AI-chattbotar.
En enkel chattbot måste läsa och tolka en förfrågan och snabbt leverera ett ”probabilistiskt rimligt” svar, men agenter måste – i takt med att de blir mer sofistikerade – tänka, ställa frågor och anpassa sig när något går fel, och de körs i allt högre grad kontinuerligt, och ofta osynligt, i bakgrunden.
”De måste kunna validera sina resultat för att säkerställa noggrannheten utan att nödvändigtvis ha en människa inblandad”, skriver analytikerna. ”De måste kommunicera med andra agenter.”
Allt detta kräver mer resurser, och tokenförbrukningen ökar exponentiellt när ”svärmar” av allt mer autonoma agenter aktiverar och anropar varandra. Detta medför en ”enorm inferenskostnad” redan innan användaren ens får sitt resultat, konstaterar de.
Hårdvarukostnaderna för att träna medelstora agentmodeller med avancerade resonemangsförmågor är 2,5 gånger högre än för att träna enkla chattbotar av liknande storlek, enligt Gartner. Dessutom är agenternas inferenskostnader 5 gånger högre, och agenterna kräver 5 till 30 gånger fler token än en chattbot för att hantera motsvarande uppgifter.
”Tänk nu på hur kostnaderna kommer att skjuta i höjden när man kör hundratals agenter som kan utföra dussintals eller hundratals uppgifter varje timme”, skriver analytikerna. Kostnaderna fortsätter att skjuta i höjden när agenterna delar upp många problem i flera små uppgifter, anropar modeller av högre ordning och kräver multimodala data.
”Den datakraft som krävs för dessa funktioner är svindlande”, enligt analytikerna.
För att analysera effekterna av agentbaserade system har Gartner skapat en ”Tokenomics-modell” baserad på olika scenarier för träning och inferens. Dessa inkluderade olika utformningar (antal lager, LLM som domare eller som en blandning av experter), tekniska förbättringar, hårdvaruspecifikationer och olika andra kostnadsaspekter (data, infrastruktur, energi, arbetskraft).
Företaget körde 12 typer av AI-modeller med olika funktioner och fann att grundläggande arbetsflöden kostar cirka 0,05 dollar per inferenstoken; sammanfattning och kunskapshämtning kostar ungefär 0,10 dollar; mer komplexa arbetsflöden kostar cirka 0,30 dollar; och planering och inlärning kostar ungefär 0,40 dollar per token. Detta innebär att leverantörskostnaden per token för planerings- och inlärningsuppgifter är 8 till 10 gånger högre än för grundläggande arbetsflöden.
”Kostnaderna kommer oundvikligen att stiga, och när de gör det finns det ingen garanti för att värdet kommer att öka i motsvarande grad”, hävdar Sommer och Zimmerhansl. ”Avkastningen på investeringen från varje ny generation av teknik kommer att vara svårt förvärvad.”
Att vara ekonomisk i AI-åldern
Företag kan vara noggranna och hålla tokenkostnaderna under kontroll genom att utveckla och underhålla komplexa multimodala system, säger Gartner. De kommer också att behöva metoder för att mäta avkastningen och förbättringar i genomförda arbetsflöden.
Orkestrering kommer att vara det som skiljer åt, och ”inference tiering” kommer att förbättra kostnad och prestanda, så företag bör utveckla system som dirigerar förfrågningar till den mest kostnadseffektiva modellen och hindrar agenter från att som standard använda avancerade modeller för enklare uppgifter, råder Gartner. Att införa användningsbaserad prissättning är ett annat viktigt steg; gå över från fasta beräkningsavgifter till differentierade abonnemang som skalar efter behov.
Företagen kan överväga att införa obligatoriska kontinuerliga uppdateringscykler, tillägger Sommer och Zimmerhansl. ”Behandla varje modellrelease som en ’ny bil’ som tappar värde redan från dag ett”, skriver de, och bygg in finjustering av data och självlärande återkopplingsloopar.
Utvecklare bör också fastställa minimistandarder för AI-genomförande: definiera framgångströsklar samt kostnader för riskminimering och regelefterlevnad redan från början. ”Vägra att ge grönt ljus för driftsättningar tills scenarierna har stresstestats mot svängningar i tokenpriser och kostnader för regelefterlevnad”, betonar analytikerna.
Vidare rekommenderar Gartner också att man integrerar värde per resultat i produktplaneringen. Detta kan innebära att varje AI-funktion måste prognostisera och spåra sina kostnader mot ett ”tydligt resultatmått”, såsom automatiserade uppgifter eller framgångsrikt avslutade ärenden. Detta kan hjälpa till att identifiera de arbetsflöden som presterar dåligt och som behöver förbättras eller fasas ut.
Ändå är avkastning på investeringen ”fullt möjligt”, men det kräver betydande insatser i komplexa arbetsflöden, enligt Gartner; företag kan inte bara förlita sig på traditionella system och arbetsflöden. ”Att som standard välja generisk autonom intelligens kommer att resultera i obegränsade kostnader som är flera storleksordningar högre än kostnaderna för optimerade produkt-ekosystem”, påpekar de.