När Nvidia visade DLSS 5 tidigare i år blev mottagandet minst sagt blandat. Tekniken handlade inte längre främst om uppskalning eller fler bildrutor, utan om att låta en neural modell påverka hur den färdiga spelbilden faktiskt ser ut. Det väckte frågor, inte minst eftersom de första demonstrationerna förändrade karaktärernas utseende tillräckligt mycket för att internet snabbt skulle göra det internet gör bäst: memes.
Nvidia gav dessutom ganska luddiga besked om vilken information modellen egentligen arbetade med och hur mycket kontroll utvecklarna skulle få. Sedan dess har moddare lyckats aktivera tidiga versioner av tekniken i andra spel och nu har Nvidia gått betydligt djupare i hur det företaget kallar 3D-Guided Neural Rendering faktiskt fungerar.
Först det viktigaste: DLSS 5 ersätter inte Super Resolution, Frame Generation eller Ray Reconstruction. Det här är ytterligare ett steg i renderingskedjan, med ett helt annat jobb.
Spelet renderar först en bild. DLSS 5 får sedan bland annat färginformation och rörelsevektorer från den bilden och skickar informationen genom en modell Nvidia kallar Pixel Space Diffusion Transformer. Modellen kan därefter förändra hur bland annat ljussättning, material och små detaljer ser ut.
Det här är också anledningen till att DLSS 5 inte riktigt går att likställa med vanlig generativ AI. En bildgenerator kan skapa olika resultat från samma underlag, vilket är ganska opraktiskt i ett spel där ett ansikte helst ska fortsätta vara samma ansikte 16 millisekunder senare.
Nvidia beskriver därför DLSS 5 som deterministiskt och temporalt konsekvent. Enligt företaget ska resultatet vara förutsägbart och detaljer hålla ihop när kameran och objekten rör sig mellan bildrutorna. Det är en viktig målsättning för tekniken, men än så länge också huvudsakligen Nvidias egen beskrivning. Hur väl det fungerar mellan olika spel, motorer och grafiska stilar återstår att testa.
Här finns också en viktig detalj som tidigare varit ganska lätt att missförstå. När DLSS 5 körs arbetar modellen med den renderade bilden och tillhörande information, men under träningen får den betydligt mer kunskap om 3D-scenen.
Nvidia använder bland annat ytornas grundfärg, normaldata och rörelsevektorer. Modellen tränas samtidigt på att identifiera objekt, material och relationen mellan dem, liksom egenskaper hos ljussättningen såsom riktning och intensitet.
För karaktärer ingår exempelvis ansikte, silhuett och kläder. Även kameravinkel, perspektiv och komposition är sådant Nvidia tränar modellen på att bevara.
Det är alltså här 3D-Guided kommer in. DLSS 5 sitter inte och läser hela spelvärldens geometri varje gång en bildruta ska visas. Däremot har modellen tränats med information från 3D-scener för att bättre kunna tolka vad den ser i den färdiga bilden.
Det är också värt att skilja på hur modellen tränas och vilken information den faktiskt får när den sedan används i ett spel. Att Nvidia matar in exempelvis normaldata och annan information från 3D-scenen under träningen betyder inte att allt detta skickas in i modellen för varje färdig bildruta.
Inte bara pixlar
Det gör DLSS 5 till något betydligt mer avancerat än ett vanligt bildfilter. Modellen försöker identifiera vad olika delar av bilden föreställer och behandlar dem därefter. Hud ska inte reagera på ljus som metall och tyg ska inte se ut som plast. Det är i alla fall tanken.
Nvidia pekar bland annat ut ambient occlusion, kontaktskuggor, reflektioner och subsurface scattering som detaljer modellen kan påverka. Företaget skiljer samtidigt mellan finare strukturella förändringar och bredare justeringar av ljus och färg.
Det innebär att DLSS 5 kan göra betydligt mer med bilden än traditionell uppskalning eller uppskärpning. Ett material kan få en annan ljusrespons, små skuggor kan förstärkas och ytor kan få detaljer som inte framträdde på samma sätt i grundbilden.
Här är ordvalet viktigt. Nvidia pratar gärna om att tekniken ger mer verklighetstrogna material och ljussättning, men modellen förändrar i praktiken den bild som spelmotorn har producerat. Att resultatet blir bättre är en bedömningsfråga och lär dessutom bero en hel del på spelets grafiska stil och hur aggressivt utvecklarna väljer att använda tekniken.
Grundbilden spelar samtidigt stor roll. Nvidia visar samma scen med rasterisering respektive strålspårning och argumenterar för att bättre indata också ger bättre utdata. DLSS 5 är alltså ingen genväg runt resten av renderingen, utan modellen får bättre förutsättningar när mer korrekt information redan finns representerad i bilden.
Utvecklarna bestämmer
En av de stora frågorna efter den första presentationen var hur mycket av slutresultatet utvecklarna faktiskt skulle kunna styra. Det var inte helt uppenbart när de första jämförelsebilderna började cirkulera, men här är Nvidia betydligt tydligare nu.
Olika modellvikter kan användas för att få olika typer av resultat. Dessutom finns Structure Intensity, som påverkar finare detaljer, och Tone Intensity, som styr bredare förändringar av ljus och färg.
Effekten kan också maskas, vilket innebär att utvecklaren kan låta DLSS 5 påverka vissa delar av bilden och lämna andra ifred. Nvidia visar både manuell maskning och en automatisk variant där modellen identifierar olika objekt i scenen. Kontrollerna kan användas både globalt och på enskilda objekt.
Det betyder inte att utvecklaren sitter och bestämmer hur varje enskild pixel ska se ut. Kontrollen ligger snarare i vilken modell som används, hur kraftig effekten ska vara och var den får slå igenom. Det är viktigt, eftersom frågan efter de första DLSS 5-demonstrationerna inte bara var om Nvidia kunde få ett ansikte att se mer detaljerat ut, utan varför det plötsligt såg ut som en annan människa.
Nvidia använder själv begrepp som att modellen ska bevara utvecklarnas konstnärliga intention, men den saken går inte riktigt att slå fast utifrån en presentation. Det vi kan konstatera är att utvecklarna får fler verktyg för att begränsa modellens påverkan. Hur väl dessa räcker för att behålla ett avsiktligt utseende när tekniken används brett i ett riktigt spel är en annan fråga.
NBA 2K27 är först ut
Först ut med officiellt stöd är NBA 2K27 som släpps i veckan. Nvidia anger stöd för Geforce RTX 50-serien, bärbara datorer med motsvarande grafik och Geforce Now.
Det gör spelet till ett betydligt mer intressant test än Nvidias egna demonstrationer. Där går det att börja bedöma hur tekniken håller ihop över längre spelsekvenser, olika kameravinklar och ett stort antal bildrutor, snarare än att bara titta på ett urval jämförelsebilder.
Prestandan är fortfarande ett frågetecken
Nvidia beskriver DLSS 5 som tillräckligt snabbt för neural rendering i 4K i realtid, men företagets egna siffror gör det svårt att se vad tekniken faktiskt kostar. I NBA 2K27 anges exempelvis 370 FPS med Geforce RTX 5090 i 4K. Problemet är att testet kombinerar DLSS 5 med Ray Tracing, Super Resolution i Performance-läge och Multi Frame Generation 6X. Någon ren jämförelse där enbart DLSS 5 slås av och på finns inte i materialet, vilket gör de höga bildfrekvenserna betydligt mindre användbara för den som vill veta vad just den neurala modellen kostar.
Hur prestandan är just nu är kanske mer sekundär i sammanhanget. På bara några månader har prestandan hos modellen förbättras femfaldigt, och ytterligare förbättringar är troligtvis på ingång. Företaget visar inga absoluta renderingstider, men utvecklingen ger åtminstone en fingervisning om hur krävande modellen har varit att få ner till realtidsnivå. Bäst upplevelse med DLSS 5 kommer du dock få med RTX 50-serien, även om äldre generationer tekniskt sett har stöd för nymodigheterna.
Samma sak gäller de tidiga tester där moddare har lyckats aktivera DLSS 5 i andra spel. De körs knappast under optimala förutsättningar och kan inte användas som facit för färdiga implementationer, men den tydliga prestandakostnaden är fortfarande intressant. Tillsammans med Nvidias egna uppgifter om hur mycket modellen har behövt optimeras pekar de på att det här inte är något billigt bildfilter som bara läggs ovanpå renderingen.
En neural modell ska trots allt köras för varje bildruta och det kostar beräkningskraft. Hur stor den kostnaden blir i färdiga spel, och hur mycket av den som kan döljas bakom Super Resolution och Frame Generation, blir därför en av de viktigaste sakerna att hålla ögonen på.
Framtidens AI-filter?
Det är här DLSS 5 blir betydligt mer intressant än ännu en siffra efter bokstäverna DLSS. Vi har tidigare skrivit om hur modern teknik har jämnat ut spelplanen för spelutvecklare. Verktyg och teknik som tidigare krävde enorma team och budgetar finns i dag tillgängliga för betydligt fler, vilket i bästa fall gör att mindre utvecklare kan lägga mindre tid på att uppfinna hjulet och mer tid på att faktiskt bygga spelet.
DLSS 5 skulle kunna bli ännu ett steg i den riktningen. Om en neural modell kan göra avancerade material, ljusfenomen och små detaljer billigare att åstadkomma behöver vinsten inte bara vara att nästa storspel får lite snyggare hud. Det skulle också kunna låta mindre team nå visuella resultat som tidigare varit orimligt dyra att rendera.
Men det förutsätter att tekniken faktiskt går att använda utan en orimlig prestandakostnad och att utvecklarna kan styra resultatet tillräckligt väl. Det är två saker som Nvidias presentation ger fler ledtrådar kring, men knappast några slutgiltiga svar på.
Samtidigt ligger farhågan nära till hands, eftersom samma teknik innebär att en tränad modell får större inflytande över hur den färdiga spelbilden faktiskt ser ut. En traditionell spelmotor ger utvecklaren verktyg för att skapa bilden. Med DLSS 5 får en modell även vara med och tolka hur den bilden bör se ut.
Om modellen konsekvent gör precis det utvecklaren vill behöver det inte vara ett problem. Nvidia visar dessutom betydligt fler möjligheter att begränsa och styra effekten än vad som framgick när DLSS 5 först presenterades. Men det återstår att se vad som händer om samma modeller börjar sätta ett eget visuellt fingeravtryck på spelen, om hud, material och ljussättning börjar dra åt samma håll eller om medvetet stiliserade detaljer jämnas ut eftersom modellen har tränats mot ett annat ideal.
Det är inte särskilt svårt att förstå varför DLSS 5 väcker mer känslor än ännu en bättre uppskalningsalgoritm. Super Resolution, Frame Generation och Ray Reconstruction har redan flyttat gränsen för hur mycket av bilden som faktiskt behöver renderas på traditionellt vis. DLSS 5 flyttar inte bara den gränsen längre, utan börjar också peta i hur det färdiga resultatet ska se ut.
Det skulle kunna bli ytterligare ett verktyg som jämnar ut spelplanen och låter utvecklare göra mer med mindre resurser. Det skulle också kunna bli ett lager av neural bearbetning som vi börjar känna igen oavsett vilket spel som ligger under. Förmodligen kommer verkligheten hamna någonstans däremellan, och mycket lär avgöras av hur utvecklarna väljer att använda tekniken snarare än av själva DLSS-logotypen.
Frågan blir därför inte bara om DLSS 5 kan göra spel snyggare eller snabbare. Hur mycket av den färdiga spelbilden är vi bekväma med att lämna över till en neural modell, om vinsten är bättre grafik till en lägre kostnad?