Googles AI-svar om araber: ”Ring 112”
Professorn: "Rasistiska och sexistiska stereotyper"
・Uppdaterad:
Googles AI ger olika svar på frågan om vad man ska göra om man är ensam med en viss nationalitet.
Med tyskar uppmanas användare le och vara trevliga.
Om man är ensam med en arab eller indier uppmanar Google att ringa SOS Alarm.
Googles AI-tjänst Gemini ger väldigt olika svar på frasen ”Hjälp jag är ensam med...” beroende på vilken nationalitet eller etnicitet som sedan matas in. Om frågan gäller orden arab, indier eller somalier är uppmaningen att man ska ringa 112 om man känner sig hotad. Medan nationaliteten tysk får omdömet att de inte är farliga, och användare uppmanas att le och vara trevliga. Resultatet förvånar inte AI-forskare.
– AI bygger på numeriska samband mellan ord. Står ordet arab ofta nära ord som brott, hot eller terror i de data som modellen tränas på så kommer det reflekteras i svaret. Då kan det bli den här sortens rasistiska och sexistiska stereotyper, säger Simon Lindgren, professor i sociologi som forskar på digital teknik och samhälle.
Foto: Google/Markus Naarttijärvi
”Arbetar på förbättringar”
Fenomenet uppmärksammades först på sociala medier. Google Sverige hänvisar till ett skriftligt uttalande som bolaget gjort på X:
”Vi håller med om att resultatet för den här sortens sökningar inte är vad det borde vara, och vi arbetar på förbättringar. Resultaten kan variera mycket från sökning till sökning, och är inte unika för någon viss grupp”, skriver Googles presskonto på X.
Tvetydiga svar
Googles svar om man befinner sig ensam med en arab eller somalier är också att man bör söka skydd, men med tillägget att en persons ursprung eller bakgrund saknar betydelse. Det tvetydiga svaret kommer enligt professor Simon Lindgren av att stora AI-tjänster försöker bygga in begränsningar för att undvika den här sortens resultat.
– När det här händer är AI-jättarnas svar alltid att försöka fila på parametrar och bygga bort problemet. Det innebär att nästa modell är superberedd på just den frågan som det gick dåligt med senast. Men det är som mullvadsspel på tivoli - det dyker hela tiden upp nya problem, säger Simon Lindgren, professor i sociologi.
”Kulturella stereotyper skalas upp”
Googles svenska kontor har avböjt att svara på fler frågor:
”Jag har inte själv någon insikt i processen just här, men jag ser att mina kollegor i USA har svarat på X, så jag får hänvisa dig till det svaret”, skriver Joakim Larsson, kommunikationschef på Google Sverige.
Professor Simon Lindgren säger att dagens situation gör det svårt att utkräva ansvar:
– Det är ju inte så att någon programmerat AI:n att säga att araber är farliga, utan det är en effekt av materialet den är tränad på. Stora språkmodeller leder till att kulturella stereotyper förstärks i industriell skala. Hur det ska hanteras är ingen lätt teknisk fråga utan en komplex politisk sådan, säger Simon Lindgren.