När man tänker på AI är det ofta Nvidias GPU:er som kommer att tänka på, eftersom de har spelat en så stor roll i den pågående AI-revolutionen.
Men vid Hot Chips-mässan i Kalifornien verkar en alternativ framtid ta form, i takt med att företagens oro fortsätter att växa kring kostnader, energiförbrukning och prestandaförsämringar inom AI.
Nya AI-chipp som presenterades på mässan av OpenAI, Intel, Meta och andra lovar billigare och snabbare generering av token med lägre energiförbrukning. Chipptillverkarna flyttar också AI från GPU:er till CPU:er och PC.
– Vad Hot Chips visade är att marknaden bakom Nvidia håller på att bli mycket mer diversifierad, säger Stephen Sopko, analytiker vid Hyperframe Research.
Även om företagens AI-budgetar fortsätter att öka ligger fokus alltmer på att hitta sätt att göra AI mer produktivt och minska slöseriet i budgeten.
– Men jag skulle inte säga till it-cheferna att deras AI-budgetar därför kommer att minska”, säger Sopko.
Hot Chips pekade på en framtid där mer AI-arbete kan pressas ut ur samma watt, rack eller dollar med nya hårdvarukonstruktioner och energihantering.
– Kostnaden för att utföra en given enhet av AI-arbete bör fortsätta att sjunka dramatiskt, säger Sopko.
Open AI delade med sig av detaljer om sitt egenutvecklade AI-chipp kallat Jalapeño, vilket enligt ett blogginlägg kommer att hjälpa företaget att ”tillgodose en större efterfrågan och sänka kostnaden för att leverera ett framgångsrikt resultat”.
Open AI inledde sin AI-resa med Nvidias GPU:er och planerar att satsa 750 miljarder dollar på datacenter för att driva sina verktyg och tjänster. Jalapeño-chippet kommer förmodligen att ge dessa datacenter en extra krydda när det gäller inferens.
Analysföretaget Semianalysis beviljades exklusiv tillgång för att testa chipet och blev imponerade av vad de fann. ”I allmänhet är första generationens chip inte konkurrenskraftiga, men Open AI bryter mot trenden genom att vara branschledande och överträffa alla chip från Nvidia, AMD och Google som vi har kunnat testa på flera ledande open source-modeller”, skrev SemiAnalysis i en nyhetsbrevsrapport.
AI-beräkningar kommer med tiden att bli mer distribuerade än vad de har varit under de senaste åren, men molnet kommer att fortsätta vara ett viktigt alternativ för mycket beräkningsintensiva behov, säger Jack Gold, chefsanalytiker på J. Gold Associates.
Inom de närmaste ett eller två åren kommer tusentals agenter att köras på edge-plattformar, AI-datorer, lokala servrar eller suveräna datacenter, säger Gold.
– Det kommer att bli ett större antal leverantörers chipp som kör olika appar, och det kommer inte enbart att handla om GPU:er från en enda leverantör, säger han.
GPU:er kan vara kostsamma ur ett ström- och prestandaperspektiv för agentbaserad AI, vilket är anledningen till att de stora GPU-aktörerna som Nvidia och AMD lägger tonvikten på nya AI-vänliga CPU-arkitekturer, enligt Gold.
Nvidia har insett behovet av chipp utöver sina egna GPU:er för inferens. På Hot Chips delade företaget till exempel med sig av detaljer om sin Vera-CPU och sitt Groq 3 LPX-inferenschip.
Samtidigt lyfte Intel fram en kommande server-CPU kallad Diamond Rapids och en PC-CPU kallad Wildcat Lake; den senare är utformad för att föra ut AI till edge-enheter och billiga laptops.
Diamond Rapids har AI-tillägg så att inferens kan utföras på CPU:n utan att arbetsbelastningen behöver omdirigeras till andra koprocessorer. Wildcat Lake-chippet har neurala bearbetningsenheter (NPU:er) och lånar funktioner från Intels Xe3-grafikchipp, som också används i företagets GPU:er för AI-inferens. (Det liknar Intels befintliga Panther Lake-chipp.)
Förändringar i systemarkitekturen utgjorde också en stor del av diskussionen på Hot Chips, säger Jim McGregor, chefsanalytiker på Tirias Research, som deltog på mässan. De flesta presentationerna fokuserade på att eliminera flaskhalsar i dataöverföringen, avancerade chipkonstruktioner och beräkningar närmare eller inuti minnet, säger han.
AI för företag kommer sannolikt att bli allt mer heterogen, säger Sopko. Därför bör it-beslutsfattare utforma AI-arkitekturer så att de kan växla mellan GPU:er, CPU:er och specialiserade chipp i takt med att ekonomin inom AI förändras, säger han.
– Den strategiska risken ligger inte i att välja fel chipp år 2026. Den ligger i att bygga en AI-arkitektur som hindrar dig från att dra nytta av ett mycket billigare eller bättre alternativ år 2028, säger Sopko.