AI blir allt dyrare, och företagen försöker sänka kostnaderna för tokens. Lösningen: flytta mer AI-arbete till pc:n.
Datorn kommer inte att ersätta molnet. Inledande AI-arbete kan utföras på en pc, och mer krävande uppgifter – som dagens datorer inte klarar av – kan skickas till molnet.
”Vi kommer alltid att behöva använda de mest avancerade molnbaserade modellerna för vissa uppgifter, men vi behöver inte använda dem för allt”, skriver Bob O’Donnell, vd för Technalysis Research Insights, i ett inlägg på LinkedIn.
Det är den vision som Microsoft kallar ”hybridintelligens”, där Windows gör AI alltid tillgängligt. Molnmodellerna sköter de svåraste uppgifterna, medan mindre krävande uppgifter körs lokalt på datorn. För Windows-datorer innebär det, åtminstone i nuläget, Copilot AI-datorer .
– Framtiden för AI handlar inte om att ha bara en modell. Det handlar om att ha rätt modell vid rätt tillfälle – avancerad kapacitet när du behöver den, mindre och snabbare modeller när du vill ha hastighet, sa Pavan Davuluri, chef för Windows och enheter hos Microsoft, vid ett lanseringsevenemang för datorer den 7 oktober.
Hybridintelligens kommer att finnas överallt och sudda ut gränsen mellan AI i molnet och på datorn, sa Microsofts vd Satya Nadella vid evenemanget.
– Jag vill bara kunna använda min datorkraft var den än finns, i ett slags sömlöst flöde av det jag försöker få gjort, sa han.
Agentbaserade AI-datorer
Microsoft inser att höga kostnader för molntjänster gör att företag tvekar att skala upp AI. Lösningen: flytta över AI-uppgifter som inte kräver molnmodeller till AI-datorer.
Cirka 10–15 procent av AI-arbetsbelastningen kommer att köras på datorer och 40–45 procent i molnet under de kommande tre till fyra åren, spår analytikern Jack Gold från J. Gold Associates.
– Företagen kommer att behöva AI-accelererade datorer, och vid någon tidpunkt kommer vi troligen att se en förnyad satsning på att köpa in nyare maskiner, säger Gold.
Här kommer agentbaserade AI-datorer in i bilden, som kan köra agenter, generera video, skriva kod och chatta med avancerade AI-modeller på en dator. Om datorn inte klarar uppgiften skickas den till molnet.
– För ett år sedan var sådana funktioner förbehållna avancerade molnmodeller. Nu kan du ha dessa funktioner igång på din dator, sa Davuluri från Microsoft.
Agentbaserade AI-datorer är utrustade med kraftfulla GPU:er som är avlägsna släktingar till GPU:erna i datacenter. Nvidias superchip RTX Spark – som har en Blackwell-GPU – driver många av dem, däribland Microsofts nya Surface Laptop Ultra.
Till skillnad från äldre AI-datorer kan de nya agentiska datorerna köra fullständiga AI-modeller och har tillräcklig beräkningskraft för att köra dem snabbt, säger Gerardo Delgado, senior chef för produktledning på Nvidia. De ger användare och företag en väg att gå för att driva AI-projekt framåt.
– För oss är en AI-pc den dator som kommer at köra dessa lokala modeller så att man faktiskt kan behålla intelligensnivån och dra nytta av de ekonomiska fördelarna, säger Delgado.
Lokal, redan från början
HP:s nyligen lanserade mobila arbetsstation ZBook Ultra G3a har ett AMD-grafikkort som genererar gratis tokens och sänker molnkostnaderna, säger Brian Allen, chef för Global Z-arbetsstationsprodukter hos HP.
– Den kan vara on-prem. De behöver inte oroa sig för att konfidentiell information ska hamna i molnet, eller för att spåra tokens och få räkningar på 1 000 dollar i veckan, säger Allen.
ZBook Ultra G3a är utrustad med Perplexitys Portable Computer-tjänst, som har agenter som kan koppla en lokal modell till avancerade modeller i molnet.
Till exempel kan en agentbaserad dator hantera grundläggande AI-baserat designarbete i Autodesks 3d-modelleringsprogram Revit utan internetanslutning. För mer avancerat designarbete kan Perplexity vidarebefordra det till en av 19 avancerade modeller i molnet, beroende på vilken som passar bäst.
Designers kommer sannolikt att överlåta allmänna uppgifter till frontier-modeller i molnet och behålla företagsinternt arbete lokalt, sa Allen.
HP länkar till Perplexitys verktyg i Windows-aktivitetsfältet. Perplexity har MCP-anslutningar för Revit, och användarna kan helt enkelt skriva in vad de vill ha.
– Jag kan skriva kontextuellt, till exempel “hej, bygg det här åt mig”, utan att behöva känna till detaljerna, säger Allen.
Det tar år att lära sig Revits finesser, men ”jag kan verkligen lära mig hur man använder Revit genom agentbaserad AI på bara några timmar”, säger han.
Kodning för buggjakt
Microsoft demonstrerade hur en lokal modell kan spara de tokenkostnader som vanligtvis uppstår i molnet.
Ett team kunde inte återskapa ett programfel, så Github Copilot valde GPT-6 Luna i molnet för att analysera koden. Molnmodellen överlämnade sedan byggandet och testningen till lokala underagenter som körde MAI Code 1.1 Flash på en PC för att återskapa felet.
Det lokala arbetet var kostnadsfritt. En underagent matade in 1,6 miljoner tokens med kod och sammanhang till den lokala modellen, som genererade 10 500 tokens som svar, berättade en produktchef på Github under demonstrationen.
För att göra detta möjligt komprimerade Microsoft MAI Code 1.1 Flash-modellen med 130 miljarder parametrar så att den kan köras på en pc.
– Vi har reducerat modellen till tre decimaler, vilket minskar storleken med nästan 80 procent samtidigt som kodkvaliteten bibehålls, sa Davuluri.
Vid demonstrationen användes Githubs HydraFusion-funktion, som flyttar kodningsuppgifter mellan lokala modeller och molnet. Microsoft inför nu funktionen i Githubs Copilot-app för Windows Copilot-datorer.
Många utmaningar kvarstår
Att använda agentbaserad AI på pc är inte så enkelt som att installera modeller eller programvara, säger analytikern Gold. Företagen kommer också att behöva utveckla och anpassa modeller för sådana pc, beroende på tillämpningarna i företagsmiljöer.
Öppna AI-modeller, som kan anpassas, på dessa datorer skulle kunna ”avsevärt sänka AI-kostnaderna och öka avkastningen på investeringen”, säger Gold.
Dessutom är de första datorerna med agentbaserad AI som kommer ut på marknaden dyra. Microsofts Surface Laptop Ultra kostar från cirka 2 600 dollar och kan kosta upp till 6 000 dollar med alla tillval.
En billigare bärbar dator kan utföra samma uppgifter med hjälp av AI-modeller i molnet, och Surface riskerar att snabbt bli föråldrad när nya modeller lanseras, skrev vår systerpublikation PCWorld i en produktrecension.
Analytiker förväntar sig att pc-priserna kommer att förbli höga fram till slutet av 2027, delvis på grund av höga komponentkostnader, kriget i Iran och ett osäkert ekonomiskt läge.
En hybrid AI-miljö är vägen framåt, men att använda AI på en dator eller i molnet är ännu inte helt smidigt, skriver Tom Mainelli, analytiker på IDC, i ett inlägg på LinkedIn.
”För att en stor del av detta ska nå den genomsnittliga användaren måste många olika saker hända när det gäller komponentprissättning, modellutveckling, användningsfall för agentbaserad AI och mycket mer”, skriver Mainelli.
HP försöker fortfarande hitta en marknad för agentbaserade AI-datorer. Det är en lång inlärningskurva för kunderna när det gäller hur man använder dem, sa Allen.
– De befinner sig i fasen ”den här datorn är för bra för att vara sann, låt mig jämföra den med min egen RAG-modell och se hur den verkligen fungerar”, säger Allen.