I Del Ett flyttade vi vardagsjobbet hem från molnet. Den här gången går vi på det som egentligen är hela poängen med lokal AI: material som aldrig får lämna huset.
Visst är snabbhet önskvärd, men det är inte därför vi sitter med modellerna på det egna grafikkortet. En molntjänst är ofta snabbare, och den har dessutom större modeller. Skillnaden är att vissa uppgifter inte går att lägga ut i molnet över huvud taget. Då handlar frågan inte om hur snabbt AI kan skriva, utan om huruvida jobbet kan göras alls. Alternativt kan man skrubba känslig data för att skicka den till molntjänsten, men det adderar ytterligare steg, variabler och kostnader.
Men vad är egentligen känsligt? På redaktionen rör det sig, primärt, om fem sorters material:
- Konfidentiella konversationer
- Embargomaterial som inte får spridas före utsatt tid
- Källkontakter, alltså vem som har sagt vad och hur vi når dem
- Läsartips, som ibland innehåller uppgifter som avsändaren inte vill skall kunna spåras
- Opublicerade dokument, som läckor, utkast och interna underlag
Källskydd är grundbulten i journalistiken - en källa som avslöjas går inte att få tillbaka. Ett embargobrott skadar förtroendet hos tillverkare som litar på att vi respekterar datum som kan vara globalt koordinerade. Juridiken sätter ramar för hur personuppgifter och konfidentiellt material får hanteras. Material som redan är publicerat, pressmeddelanden utan embargo och allmänna faktafrågor kan i regel hanteras i molnet utan problem. Det är när något kan peka ut en källa, bryta ett löfte eller avslöja ett pågående arbete som det skall stanna hos oss.
Därför ställer vi i del 2 frågan: Håller lokal AI måttet just där det behövs som mest? Vi har testat transkribering av videomaterial, sammanfattning av embargolagt och opublicerat material, integrering av NAS och mail samt lagt grunden för meddelandehantering.
All programvara i guiden är gratis och har använts på två speldatorer. Andrés är utrustad med Nvidias Geforce RTX 5080 (16 GB), Ryzen 7 7800X3D och 32 GB primärminne. Fredrik har ett RTX 5090 (32 GB), Ryzen 7 9800X3D och 32 GB primärminne. Som komplement har bärbara Lenovo Legion 9i Gen 10 använts.
Hantering av videomaterial
Bakom varje video finns betydligt mer material. Med en liten redaktion tar det tid att klippa och rendera, vilket gör tiden begränsad. Så varför inte ta tillgängligt material och låta AI:n klippa om detta för sociala plattformar? Uppgiften var att göra tre korta klipp av en sju minuter lång källfil. Vi pekade ut ett intressant stycke, de två andra fick AI:n föreslå själv.
Hermes Desktop användes tillsammans med Strata, vilket låter dig köra en gigantisk 125B-version av Qwen3.8-Flash-Next, uppdelat på ditt grafikkort, processor, primärminne samt lagring. Strata använde bakom kulisserna FFmpeg för att klippa och sätta ihop videon. Till detta tillkom Remotion för undertexter, titlar och grafik, Node.js som Remotion kräver för att köra, samt KB-Whisper för transkribering - och senare som underlag för undertexter. Det skulle snart visa sig att KB-Whisper presterade ypperligt, utan ett enda missförstånd eller fel. En natt och dag-upplevelse jämfört med Youtubes egen lösning.
De flesta av verktygen behövde vi varken researcha eller installera manuellt. Agenten kom med förslag på lösningar, vi godkände, och den skötte resten. Några problem uppstod dock längs vägen. Det första utkastet visade sig vara helt centrerat, vilket innebar att subjektet enbart var delvis synligt. Efter diskussion löste agenten detta själv genom att hämta YuNet, en modell för ansiktsigenkänning, och använda den för korrekt centrering. Klippen innehåller dessutom licensfri b-roll och musik som vi använde för att testa modellens kapacitet. I en skarp video skulle redaktionen handplocka både b-roll och ljud.
Det krävdes 11 iterationer och ungefär tre timmars arbete att ta fram en standard för framtida videor, så nästa gång behöver vi inte börja om. Nu kan vi arbeta parallellt med andra projekt, samtidigt som vi separat genererar utkast för sociala medier.
Hemläxa som kvarstår: Skapa ett återanvändbart intro, lätt finlir med mallen innan den är redo för export till övriga AI-användande datorer (mer om detta i nästa del).
NAS-interaktioner
Likt många andra mindre företag ligger redaktionens filer på en NAS, och här ville vi att AI-modellerna skulle kunna använda den på två sätt. Det första är det praktiska: oavsett om vi sitter på kontoret eller hemma skall arbetsflödet fungera likadant. Agenten hämtar hem filerna till den lokala datorn, arbetar med dem och laddar sedan upp resultatet. På så vis belastar vi inte NAS:en, och den blir heller ingen flaskhals för hastigheten.
Det andra syftet är att modellerna skall kunna lära av varandra. När en AI-modell skapar en ny mall, exempelvis för hur vi gör kortfilmer, laddar den upp resultatet i en gemensam mapp med nödvändiga beroenden (modeller, grafik m.m.). På så sätt har samtliga kollegor alltid tillgång till de senaste iterationerna, oavsett vems dator som tog fram dem.
Att släppa lös en AI på redaktionens gemensamma lagring är dock inget man gör utan eftertanke. Innan vi bestämde oss diskuterade vi därför upplägget med IT-chefen @xvangu22, för att undvika risken att en modell missförstår en instruktion och raderar hela mappstrukturer. Lösningen blev ett separat inlogg för AI-modellerna med läsrättigheter för SweClockers och FZ, respektive läs- och skrivrättigheter för en dedikerad AI-mapp (utan rätt att ta bort något). Den dagen NAS:en går på knäna för att den är fylld med terabyte och åter terabyte av samma fil, för att något har gått åt pipan, kan man alltså snabbt återställa läget till det normala.
Gmail och PDF-filer
Nästa steg var att låta agenten ta hand om inkorgen. Vi kopplade Hermes och Strata till redaktionens Gmail via Googles egen MCP-server, men bara med läsbehörighet. Agenten kan alltså läsa mail och hämta bilagor, men varken skriva utkast, skicka eller radera något. Det krävdes inte någon uttömmande efterforskning, då Hermes kommer förinstallerad med en Skill för att tillåta kopplingen. AI-modellen tog oss steg för steg igenom vilka inställningar som behövde göras på Google Cloud. Uppskattad tidsåtgång: 5 till 10 minuter.
Här måste vi vara tydliga med en sak. Gmail är en molntjänst, och mailen ligger kvar hos Google precis som förut. Det som förändras är att innehållet inte skickas till ytterligare en molntjänst för att läsas av en språkmodell. Modellen som tolkar mailen körs på vår egen dator, och det som den läser stannar inom företaget.
Agentens uppgift är att spara PDF-filer och bilder från olika tillverkare i en mappstruktur uppdelad efter företag och produkter. Det rör alltså produktinformation, eller s.k. review guides. I de fall nedladdningslänkar identifieras sparas de i ett dokument. Vidare söker agenten efter datum som har betydelse för redaktionen: lanseringsdatum, NDA-datum och embargotider. Dessa datum kan finnas i brödtexten eller pdf-filerna. När reglerna sattes i sten omvandlade AI-modellen detta till en Skill, för framtida dagligt användande.
Tid är dock det som gör uppgiften svårare än den ser ut. Internationella tillverkare kommunicerar ofta en enda tidpunkt för hela världen, till exempel klockan 2PM Pacific Time, och en missad tidszon kan i värsta fall betyda ett embargobrott. Agenten konverterar alla tider till svensk tid, med hänsyn till sommar- och vintertid. Som en säkerhetsåtgärd sparas även de ursprungligt angivna uppgifterna.
Målsättningen över tid är att dels träna agenten på produktinformation, så att den blir mer bekant med produkter och termer, men också att koppla det till ett lokalt Kanban-system där varje datum blir ett ärende med källfilen länkad.
Tips och meddelanden
Men vi är inte klara där. Utöver mail får redaktionen dagligen in meddelanden från läsare, ibland även tillverkare. Det kan röra tips, åsikter eller problem av olika slag. Där behöver vi någon form av triage, alltså en snabb första sortering.
Inkorgen ligger i det interna redaktionella adminsystemet - därför kan vi inte använda Gmails motsvarande prioritetsfunktion. Agenten får läsa meddelandena, ta ut avsändarens kontaktuppgifter och göra en summering. För tips kan en snabb första granskning utföras, exempelvis för att avgöra om källan är en seriös publikation. Övriga meddelanden sorteras efter om det rör sig om ett problem, till exempel driftstopp eller att någon blivit bannad. Sådant lyfts fram så att det inte försvinner i mängden. Därefter pingas vi via kommunikationsverktyget Slack.
Precis som med NAS:en och mailen sätts tydliga gränser. Agenten får läsrättigheter i adminsystemet och besvarar alltså ingenting själv. Den ger oss en första filtrering av vad vi borde prioritera - bedömningen och svaret ligger kvar hos människor.
Slutsats
Håller lokal AI just där det behövs? Hittills är svaret ja. Videomaterial, produktinformation, mail och NAS-lagring har hanterats av våra egna datorer, utan att en extra molntjänst har fått läsa något. Sakta men säkert lyfter vi bort det tidsödande och pilliga, alltså praktikantjobbet, till förmån för det mer kreativa.
Det som varit den största omställningen är inställningen. Man är inte längre begränsad av färdiga verktyg utan skapar sina egna, för det krävs ett projektledartänk. Hur löser man egentligen ett problem, vilka delar av organisationen rör problemet, och hur utför man det säkert? Dels för att befintlig data skall förbli säkrad, dels för att arbetet som den lokala AI:n utför faktiskt sparas ned korrekt. Det är alltid uppskattat när problem löses snabbt, men det innebär de facto att särskilt mycket tid inte har ägnats åt att kontemplera över säkerhetsaspekten. Överväg vilka rättigheter din AI behöver, och hur det skiljer sig från system till system. Ibland måste man bygga in säkrare omvägar, men även dessa leder till mål.
En sak till: se till att ha en maskin som kan stå på dygnet runt. Det kan vara en speldator, en specifik AI-dator som Nvidia Spark eller en laptop som Legion 9i, som bar de tyngsta modellerna redan i del ett. Ett verktyg som måste startas manuellt är ett verktyg som inte kommer att användas.
Ingen av lösningarna som är implementerade, eller som vi överväger, är en ersättare för omdömet eller mänsklig handpåläggning. Besluten ligger kvar hos redaktionen, precis så som sig bör.
Har du gått över till lokal AI? Hur ser ditt arbetsflöde ut, och vad har du för tips och lärdomar?