AI-datorer som sänker kostnaderna för token? Det kan vara intressant för företag.
En ny generation av agentbaserade AI-pc lovar att göra just det. De kraftfulla bärbara datorerna kan sänka tokenkostnaderna genom att utföra AI-arbetet lokalt istället för att skicka det till dyra LLM:er i molnet.
HP:s nyligen tillkännagivna mobila arbetsstation ZBook Ultra G3a och kommande bärbara datorer från andra tillverkare har kraftfulla GPU:er och stora minnespooler utformade för AI och grafik. ZBook Ultra G3a använder en AMD Ryzen AI Max Pro-processor, medan bärbara datorer från andra tillverkare kommer att ha Nvidias RTX Spark-superchipp.
Nvidias Blackwell-grafikprocessorer har dominerat datacentren, men företaget siktar nu på en större del av pc-marknaden med RTX Spark, som inkluderar en Blackwell RTX-grafikprocessor. Den första vågen av RTX Spark-bärbara datorer från Asus, Dell, Lenovo och andra pc-tillverkare riktar sig till konsumenter, medan företagsmodeller planeras för senare. HP:s ZBook Ultra-pc är däremot helt och hållet inriktad på företag.
Utan att vara anslutna till internet kan datorerna köra agenter och chattbotar, generera video och skriva kod på AI-modeller med miljarder parametrar.
– Det är den enda datorn där du har tillräckligt med minne för att köra de stora modellerna, tillräcklig datorkraft för att köra dem snabbt och samtidigt fungerar alla verktyg som vi har optimerat under flera år, säger Gerardo Delgado, senior director för produktledning hos Nvidia.
Visst är molnbaserade AI-modeller kraftfullare och mer kapabla. Men AI i molnet är dyrt, och dessa datorer kan lätta något på kostnadsbördan.
– Folk börjar antingen bli avskräckta eller riktigt oroliga när de får sina räkningar för AI-tokens, säger Brian Allen, chef för Global Z-arbetsstationsprodukter hos HP.
Minst 20-25 procent av de avancerade AI-arbetsbelastningarna under de kommande två till tre åren kommer att köras på AI-datorer istället för helt i molnet, säger Jack Gold, chefsanalytiker på J. Gold Research.
De agentbaserade AI-maskinerna kommer inte att vara billiga, men de kommer att sänka de återkommande molnkostnaderna, vilket är särskilt viktigt i det pågående forsknings- och utvecklingsarbetet där flera versioner av ett projekt tas fram, säger Gold.
– Vi kommer att fortsätta se fler erbjudanden inom detta område under de kommande sex månaderna, särskilt när fler leverantörer släpper chipp som är specifikt inriktade på detta område, säger Gold.
De tidiga AI-datorerna, framför allt Windows-datorer med Microsofts varumärke Copilot, avlastade vissa grundläggande assistentuppgifter, men ZBook Ultra G3a är en mobil AI-arbetsstation avsedd för avancerade arbetsbelastningar inom företagssektorn.
– Jag bygger faktiskt stora språkbaserade AI-modeller. Jag utför finjusteringar. Jag gör inferenser, säger Allen.
Till exempel kan designers använda AI i Autodesk Revits 3d-modelleringsprogram på en flygplats utan internetuppkoppling. Detta möjliggörs genom integreringen av Perplexitys Portable Computer-lösning.
Designerna kan sedan ansluta till avancerade modeller i molnet för att driva projektet framåt. Perplexity utnyttjar ungefär 19 avancerade modeller för att hitta den som passar bäst.
MCP-servrar (Model Context Protocol ) kopplar samman AI-modellerna med applikationer på datorn med användarens tillstånd. AI på datorer kan hålla känslig data inom företagets gränser.
HP har ingått ett samarbete med Perplexity kring Revit.
– Men du kommer att se att dessa MCP-anslutningar verkligen börjar växa och kopplas till fler program, säger Allen.
HP:s bärbara dator, som förväntas finnas tillgänglig i oktober, har packat ihop CPU, minne och AMD:s GPU tätt på ett chipp, så att data flyter snabbt mellan komponenterna. Det är viktigt för AI och skiljer sig från vanliga pc-konstruktioner som erbjuder uppgraderbart minne.
HP har inte offentliggjort något pris för den bärbara arbetsstationen, men Gold säger att den kommer att bli betydligt dyrare än vanliga AI-pc, såsom Microsofts nyligen uppgraderade modeller Surface Laptop 13-tums och Surface Pro 12-tums med Qualcomms Snapdragon X2 Plus-chipp, som kostar från 1 199 respektive 1 149 dollar.
HP tillhandahåller en”ROI-kalkylator” som låter nyfikna köpare jämföra kostnaden för att köra AI lokalt jämfört med den molnbaserade kostnaden.
– Man kan på sätt och vis säga: Den här datorn betalar sig själv på nio månader baserat på den här typen av användning, säger Allen.
ROI-kalkylatorer som HP:s ”har ett antal inbyggda antaganden som kanske inte är tillämpliga på alla arbetsplatser”, säger analytikern Gold.
– Men sådana kalkylatorer är ändå värdefulla för företag som vill göra en mer övergripande utvärdering av alternativen.
I vissa fall kan det vara värt att stå ut med höga kostnader för molnbaserade tokens vid komplexa arbetsbelastningar och för att få ut produkter på marknaden snabbare, säger han.
Nvidia fick en intensiv våg av kundförfrågningar om mobila arbetsstationer efter att modeller som överträffade Opus 4.6 utmärkte sig inom kodning och skakade om AI-världen.
– Det är just nu ett typexempel inom utvecklings- och kodningsteam, där man går över till lokal hårdvara i mycket snabb takt, säger Nvidias Delgado.
Delgado säger att agenter på AI-pc driver tekniska applikationer som AutoCAD.
– Tanken är inte att ersätta arkitekten, tillägger han.
Företagen kommer att anamma en hybridstrategi för AI, där arbetet utförs på datorer, i edge-miljön och i molnet, säger Delgado.
– Alla som påstår att allt sker lokalt försöker bara undvika det faktum att molnmodellerna förbättras i exponentiell takt.
Det mesta av arbetet kräver inte intelligens på molnnivå, och mycket av det kan utföras lokalt. Nvidia har verktyg som kan omdirigera inferens till inaktiva datorer i ett nätverk – till exempel Mac- och Windows-datorer med Nvidia-grafikprocessorer – för att hålla data internt. Det går också att omdirigera till molnet när det behövs.
– Det nästa stora inom agenter är inferensroutrar som helt enkelt dirigerar dig till lokal hårdvara när det räcker, och till molnhårdvara när du behöver en större modell, säger Delgado.
Ny hårdvara med imponerande specifikationer är jättebra, men den kommer inte att ge mycket om AI-utvecklaren inte är smart, säger Deepak Seth, analytiker på Gartner.
– Du kan ge dem det bästa verktyget, och de kommer ändå att komma på dumma saker, säger han.
Lösningen på alla problem är inte bara att ha mer kapacitet, men att ”mer kapacitet i händerna på rätt personer leder till bättre resultat”, säger Seth.