Varje gång du klistrar in ett mail, ett utkast eller ett dokument i en AI-tjänst lämnar texten datorn och hamnar på en server du inte styr över. Oavsett om det gäller integritet, företagshemligheter eller andra känsliga uppgifter finns det ett alternativ. Samma sorts språkmodeller går att använda lokalt, på ett grafikkort som kanske redan sitter i din dator. I den här artikelserien har redaktionen kopplat bort molnet och flyttat vardagsjobbet hem. Här går vi igenom hur vi gjorde, vad du behöver tänka på och vad du kan räkna med att få ut.
All programvara i guiden är gratis och har testats på två speldatorer. Andrés är utrustad med Nvidias Geforce RTX 5080 (16 GB), Ryzen 7 7800X3D och 32 GB primärminne. Fredrik har ett RTX 5090 (32 GB), Ryzen 7 9800X3D och 32 GB primärminne. Som komplement har en bärbara Lenovo Legion 9i Gen 10 använts.
Redaktionens förväntningar
Med en liten organisation blir det snabbt kännbart när det manuella arbetet tar tid från det som faktiskt är roligt och värdefullt. Vi vill därför utforska hur mycket av detta som går att lyfta bort. På sikt hoppas vi också kunna använda AI som stöd i det kreativa arbetet, exempelvis som faktakontroll och korrekturläsare. Med en dedikerad AI-maskin som jobbar i bakgrunden är förhoppningen att redaktionen kan få en rivstart på dagen, med inkorg och nyhetsflöde redan genomgångna. Vi förväntar oss ingen mirakelkur, men ett snabbt första led som frigör tid till det som kräver omdöme och kreativitet skulle onekligen vara till tjänst.
Det här behöver du
Det viktigaste är grafikminnet. En språkmodell mår som bäst när hela filen ryms i grafikkortets minne, och bör som tumregel vara ett par GB mindre än minnesmängden. Om modellen "spiller över" till primärminnet kan det i värsta fall krascha, och i bästa fall ge en upplevelse som kan liknas vid att se färg torka.
Räkna dessutom med gott om lagringsutrymme. Varje modell tar mellan 7 och 25 GB, och det är lätt att samla på sig flera.
André väljer LM Studio
Steg 1: Installationen
Vi använder LM Studio, ett gratisprogram som laddar ner, kör och chattar med modellerna i ett och samma fönster. Det finns för Windows, Mac och Linux på lmstudio.ai. Installationen är som vilket program som helst. Du behöver inget konto, och inget du skriver skickas någonstans.
Steg 2: Modellvalet
Sök efter en modell i LM Studios flik för att upptäcka nya modeller. Välj en version märkt Q4_K_M. Det är en komprimerad variant som tar knappt en tredjedel av den fulla storleken och ändå tappar förvånansvärt lite i kvalitet. LM Studio visar direkt om modellen ryms helt på ditt grafikkort eller bara delvis.
Har du 12 till 16 GB grafikminne är Gemma 4 12B en bra start. Den ryms helt och är snabb. Med 16 GB grafikminne och 32 GB RAM är Gemma 4 26B vårt tips. Den ryms inte helt i grafikminnet, men den gav bäst resultat i våra tester och är ändå snabb nog att arbeta med. Förklaringen kommer längre ner.
Steg 3: Konfigurationen
Innan du laddar modellen finns två inställningar som är värda en minut. Kontextlängden styr hur mycket text modellen kan hålla i huvudet samtidigt. LM Studio föreslår ofta 8 192 tokens, och det räcker för korta frågor men inte för att klistra in ett långt pressmeddelande eller en rapport. Vi körde med 16 384. Mer kontext kostar minne, så höj stegvis.
Slå också på skyddet mot överbelastning i LM Studios inställningar och sätt det till Balanced. Då vägrar programmet att ladda en modell som skulle äta upp datorns minne. Vi lärde oss det den hårda vägen, när två stora modeller hamnade i minnet samtidigt och hela datorn frös.
Steg 4: Klipp kabeln
Nu kommer det roliga. Dra ur nätverkskabeln eller slå av wifi och ställ en fråga till modellen. Svaret kommer precis som förut, eftersom allt räknas på ditt eget grafikkort. Det är det enklaste sättet att övertyga sig själv om att inget lämnar datorn.
Steg 5: Din modell, dina regler
En lokal modell vet ingenting om hur du vill ha saker. I LM Studio kan du skriva en systemprompt som följer med varje fråga. Vi skrev in redaktionens skrivregler och vad vi menar med en bra nyhet, och det gjorde märkbar skillnad. Samma modell gick från ett hyfsat svar till ett vi hade kunnat använda direkt. Nackdelen var att den tänkte betydligt längre innan den svarade.
Fredrik väljer den komplicerade vägen
Steg 1: Hermes och Qwen
Istället för LM Studio prövade vi Hermes, då applikationen har möjlighet att spara lärdomar och färdigheter som skills, vilket över tid leder till en mer kompetent agent (det visade sig att även LM Studio hade stöd för detta). Då RTX 5090 har betydligt mer grafikminne fick vi upp ögonen för Qwen3.8-27B, vilket också var den modell som applikationen själv föreslog vid uppstart.
Steg 2: Laget före jaget
Här upptäckte vi att Hermes har stöd för något mycket intressant. Efter att ha delegerat arbetsuppgifter till Qwen, vars resultat inte var helt tillfredsställande, visade det sig vara möjligt att skapa arbetslag med olika agenter. Problemet med LLM:s, särskilt lokala sådana, är att de kan vara små och begränsade. Större uppgifter kan bli övermäktiga. Vi delar istället uppgiften i olika delmål, så att agenterna inte tappar fokus. Därefter startades en gruppchatt med samtliga deltagare.
Detta gav resultat, men Qwen var en förhållandevis tung modell även för RTX 5090. Googles Gemma4-12B-it seglade upp en potentiell ersättare, men det fanns inget behändigt sätt att välja modellen genom Hermes. Sagt och gjort sattes Qwen på att felsöka problemet, och lyckades med bedriften att sideloada modellen helt själv.
Steg 3: Teambuilding
Med teamet på plats, utrustade med Gemma4-12B, påbörjades arbetet. Det uppstod dock snabbt problem. Agenterna pratade inte effektivt med varandra och gick ofta runt i cirklar utan att riktigt komma till skott. För att komma till bukt med problemet tog vi en tvåstegs-approach. En agent utrustades åter igen med den tyngre Qwen-modellen, och fick rollen som strategisk planerare samt utslagsröst.
Senare fick teamet åka på en virtuell teambuilding-retreat där temat för dagen var kommunikation och samarbete. Uppgiften var att i slutet av "dagen" visa en färdig presentation, i vilken ingick att visa hur de lärt sig att bättre samarbeta kommunicera sina behov för att snabbare kunna slutföra uppgiften. I det fall teamet inte kom överens om en ny rutin fick Qwen komma in och avgöra utfallet.
Det här steget var lika delar roligt, bisarrt och frustrerande, men resultatet gick ej att förneka. Nya samarbetsmetoder snabbade upp arbetet, samtidigt som agenterna bättre säkrade upp data utifall att de eller applikationen skulle krascha.
Steg 4: Framtiden
Med team och rutiner intrimmade har vi börjat blicka mot framtiden. Det experimenteras fortfarande med nya modeller, vi har skapat en dedikerad Telegram-agentsom kan skicka meddelanden fram och tillbaka mellan dator och telefon. Näst på tur är en dedikerad agent som har hand om att läsa in och filtrera RSS-feeds, samt en annan som läser av mail-kontot och filtrerar ut vad som faktiskt kan vara intressant att ta del av. Är det helt nödvändigt? Nej, men det är kul och har gett upphov till en upptäckarglädje som påminner om de tidiga åren av Fredriks hårdvaruintresse.
Det här ska du tänka på
Filstorleken avslöjar inte allt. Det som avgör är hur mycket modellen måste räkna för varje ord. En tät modell använder alla sina parametrar hela tiden, medan en MoE-modell bara väcker en liten del åt gången. Gemma 4 26B har 26 miljarder parametrar men använder bara omkring fyra miljarder per ord. Därför klarar den att delvis ligga i vanligt RAM utan att tappa för mycket fart. De täta modellerna Qwen 3.6 27B och Gemma 4 31B går knappt att använda utan ett flaggskeppsgrafikkort, trots att de inte är mycket större.
För den med begränsat grafikminne rekommenderas det att endast ha en modell aktiv åt gången, oavsett mjukvarulösning. Två modeller kan gott och väl räcka för att spilla över till primärminnet, så se till att ladda ur den gamla modellen, alternativt se till att mjukvaran inte jobbar med multipla modeller parallellt.
Resonerande modeller för en intern dialog med sig själva, vilket förbättrar deras möjlighet att lösa komplexare flerstegsproblem. Det innebär dock att den faktiska svarstiden blir längre, och det kan hända att de fastnar i sitt eget resonemang. Nemotron 3 Nano gjorde det i 5 av 24 körningar och skrev aldrig något svar. Förblir svarsfältet tomt, försök igen - alternativt byt modell.
Kom ihåg att aldrig lita blint på svaren. En lokal modell hittar på lika gärna som en i molnet, och den säger inte till när den gissar. Här hjälper det att vara tydlig med att modellen enbart skall presentera bekräftad information, men det är aldrig en garanti.
Prestandatest
Vi ställde 5 modeller mot 8 uppgifter ur redaktionens vardag på speldatorn utrustad med RTX 5080, då de flesta kraftiga spelgrafikkort har just 16 GB grafikminne. I uppgifterna ingick att sammanfatta pressmeddelanden, plocka ut embargodatum, korrekturläsa och faktagranska. Varje uppgift kördes tre gånger och varje svar bedömdes mot ett facit.
Gemma 4 26B gav bäst svar, 4,0 av 5 i snitt, på cirka en minut per uppgift. Gemma 4 12B slutförde uppgifterna på halva tiden, med 80 tokens per sekund, men slarvade oftare med detaljerna. Qwen 3.6 27B var nästan lika bra som Gemma 26B men behövde hela sju och en halv minut per uppgift. Gemma 4 31B blev aldrig klar med den första uppgiften, trots två timmar med grafikkortet på full belastning, och finns därför inte med i diagrammen.
Att använda lokala modeller med spelprocessor och primärminne som motor var inte en solskenshistoria. Den tidigare så snabba Gemma 4 12B tappar nu över 90 procent av prestandan. Visst går det för beräkningar som pågår över natten, eller på en separat dedikerad dator, men det är helt uteslutet för vardagligt användande.
Efter våra testrundor kan vi konstatera att ingen modell var felfri. Samtliga misslyckades med att finna alla tio fel vi hade planterat i en korrekturtext, och ingen upptäckte att ett pressmeddelande gav samma evenemang tre olika namn. Se modellen som ett snabbt första led eller gallring, och anpassa uppgifterna därefter.
I nästa del låter vi modellerna ta sig an det material som aldrig får lämna huset. Det är där lokal AI har sin starkaste poäng.
Slutsats
Fredrik
Lokal AI är fortfarande långt ifrån ett enkelt, Apple-likt "it just works", i alla fall om man vill gå bortom en vanlig chattbot. Det krävs efterforskning, felsökning och tålamod, och man måste vara beredd att kavla upp ärmarna. Samtidigt rör sig området snabbt: det som var hopplöst omöjligt för ett år sedan är användbart för power users i dag, och om ett år kan mycket ha hänt. Framför allt är det ett roligt utforskande. Även om dörren till en viss lösning förblir stängd råkar man ofta på en annan, och oväntad funktionalitet dyker upp längs vägen. Så här långt ser det lovande ut, och jag ser fram emot att släppa in teamet för att hjälpa mig med de vardagliga bestyren.
André
Att installera programmen var enkelt, men att hitta rätt modell krävde betydligt mer. Jag har sett datorn frysa, modeller räkna i timmar utan att leverera ett ord och svar som låter självsäkra men är rena påhitt. Flera gånger berodde problemen på en enda inställning som ingen varnade för. När det väl klickade var det däremot riktigt bra. Jag fick användbara svar på någon minut, och inget av det jag skrev lämnade datorn. Min viktigaste lärdom är att den största modellen som får plats sällan är den bästa. Det lönar sig att prova sig fram, och rätt modell på rätt kort är redan i dag ett verktyg jag tänker fortsätta använda.
Har du gått över till lokal AI? Hur ser ditt arbetsflöde ut, och vad har du för tips och lärdomar?