En ny studie från Coalition for Language Equity in AI Research visar att AI-modeller kräver betydligt fler tokens för att behandla vissa språk än andra. Skillnaderna innebär att användare av mindre representerade språk riskerar att betala mer för samma tjänster, rapporterar Rest of World.
Forskarna upptäckte att token-skillnaden mellan de 20 vanligaste språken på internet kunde vara upp till fem gånger så stor. När undersökningen utökades till 200 språk utökades skillnaden till hela 17 gånger i en av de undersökta modellerna.
Utöver ökade kostnader innebär fler tokens också längre svarstider och att mindre information får plats i AI-modellernas kontextfönster.
Språk som använder skriftsystem som inte förekommer lika ofta i AI-modellernas träningsmaterial är extra drabbade. Exempelvis burmesiska, tibetanska, khmer och lao. Språk som använder det latinska alfabetet har istället ofta en fördel, även när de talas av relativt få människor.
Forskarna beskriver det hela som en dold token-skatt och varnar för att den riskerar att förstärka den digitala ojämlikheten.