Tack vare ett nytt öppet källkod-projekt kallat GPU Unlock kan användare med grafikkort i Nvidias Geforce RTX 30-serie (Ampere) köra AI betydligt snabbare än tidigare, rapporterar WCCF Tech.
Verktyget kringgår en artificiell begränsning Nvidia har lagt till i konsumentkort med någon av kretsarna GA102, GA103, GA104 och GA106 som innebär att flyttalsoperationer med halv precision, det vill säga 16-bitars eller FP16, inte går lika snabbt som på proffsmodeller med samma kretsar.
Mjukvaran fungerar som ett kerneltillägg i Linux och fungerar alltså inte med Windows, men eftersom den här typen av beräkningar idag främst gör nytta inom AI är det knappast någon allvarlig begränsning för målgruppen.
Alla AI-operationer blir inte snabbare, utan främst matrismultiplikation. Beräkningar med heltal (INT8) blir inte snabbare, och inte heller genereringen av tokens i språkmodeller efter de initiala beräkningarna (så kallad decoding), som främst begränsas av minnesbandbredden. I språkmodeller är det ”prefill”-steget som snabbas upp, men bildgenerering med diffusionsmodeller blir också snabbare.
Användarrapporter på Reddit visar på upp till 60 procent högre prestanda i bildgenerering. För språkmodeller går det upp till 33 procent snabbare att läsa in prompten och komma igång med att generera ett svar, men själva svaret blir alltså inte alls snabbare.
Nvidias DLSS-tekniker använder också flyttalsberäkningar och skulle i teorin kunna dra nytta av snabbare Tensor-kärnor, men hittills finns inga tecken på att verktyget gör någon nytta för användare som är intresserade av högre spelprestanda.