Bedragare fejkar Downs syndrom – Tiktok ger grönt ljus
De är unga med Downs syndrom, skadade krigsveteraner och mobbade tjejer. De vill att du ska köpa deras handgjorda kläder och väskor, som de visar i tårfyllda klipp på Tiktok. Men allt är AI-genererat. Personerna finns inte. Produkterna är massproducerade, troligtvis från Kina.
Ett solklart brott mot Tiktoks regler – men nu kan DN avslöja att hundratals klipp får grönt ljus trots att plattformen granskar dem.
En ung kvinna sitter på en buss. Hon har ansiktsdragen hos någon med Downs syndrom och ser ledsen ut. I videoklippet på Tiktok ser man hur hon håller en väska med mönster av stora färgglada fjärilar i sin famn.
Någon kastar ett hopknycklat papper på henne, spridda skratt hörs. Hon håller upp handen mot kameran som för att slippa bli filmad.
I nästa klipp håller hon i en annan väska, samma modell men med blommigt motiv. Hon pratar om väskorna, med tårar rinnande över ansiktet.
– Jag lägger så mycket tid på att tillverka varenda en av dem. Men alla bara gör narr av mig.
Hennes konto är fullt med sådana filmer, där man ser hur svårt hon har det. Men hon skiner upp när hon sitter och syr sina väskor. Filmen avslutas med en text: ”Säg ärligt. Skulle du köpa en?” I hennes profil finns en länk till butiken där de säljs för knappt 400 kronor.
Kommentarsfältet är fyllt av hundratals inlägg, de flesta stöttande:
”De är underbara!”
”Fortsätt!”
”Trollen och mobbarna är bara avundsjuka på din talang.”
Men det är något som inte stämmer med hennes filmklipp. Tittar man noga så ser man underliga perspektiv. I ett klipp sitter hon i en bil där förarsätet är märkligt flyttat mot mitten av bilen.
En analys med ett specialverktyg ger klart besked: Filmerna är skapade med artificiell intelligens. Den gråtande kvinnan finns inte på riktigt, inte hennes mobbare heller. Till synes identiska väskor finns i en rad nätbutiker, bland annat Amazon, för mindre än halva priset.
Klippen med kvinnan är bara några av många hundra som följer samma mönster. Alla ska de lura tittaren att en produkt är handgjord av en person i ett utsatt läge. Ingenstans framgår att de är AI-genererade. Det är ett tydligt brott mot Tiktoks egna regler, som säger att AI inte får användas ”för att vilseleda, lura eller ge ett falskt intryck”. Allt som är AI-genererat måste dessutom markeras. Särskilt viktigt är detta för ”syntetiska ansikten, röster och digitala människor”, skriver Tiktok.
DN har tagit del av Tiktoks svar om över 160 AI-genererade klipp som har rapporterats till företaget. Bland klippen finns de som marknadsför butiker, men också sådana som visar unga, mer eller mindre avklädda kvinnor och försöker få användaren att betala för vad som antyds vara nakenbilder. Inget av dem är markerat som AI. Ändå friade Tiktok i så gott som alla fall. Ett enda klipp togs bort. Fyra flaggades för att inte dyka upp i Tiktoks rekommendationer, en mildare åtgärd.
Fakta.Anmälda klipp
Granskningen bygger på 164 anmälda klipp på Tiktok, som alla med hög eller mycket hög sannolikhet har identifierats som AI-genererade.
För analysen användes verktyget Hive Moderation, som klassade de flesta som AI-genererade med sannolikhet 99,9 procent. Flera av klippen har också avvikelser som är typiska för AI-filmer.
Anmälningarna har skickats in under de senaste månaderna och svaret från Tiktok har registrerats.
Av de 164 klippen raderades ett och fyra togs bort från rekommendationsalgoritmen. Övriga fick grönt ljus.
Klippen har alltså inte bara kunnat laddas upp utan hinder. De har dessutom kontrollerats av företagets moderatorer, som trots anmälningarna ger dem grönt ljus.
Granskningen är gjord tillsammans med säkerhetsspecialisten Karl Emil Nikka, som i flera månader har analyserat klipp med ett verktyg som pekar ut sannolikt AI-skapat material, anmält dem och dokumenterat Tiktoks hantering.
– Det började med att jag blev irriterad på allt AI-slask och ville stänga av det. När jag insåg att mycket inte ens var markerat som AI började jag anmäla klippen, säger han.
Med stigande förvåning såg han hur anmälan efter anmälan avslogs, trots att hans verktyg enkelt kunde slå fast att klippen var AI.
– Det blev klart och tydligt: Tiktok har en policy, men den gäller inte, säger Karl Emil Nikka.
Vad är det största problemet med det här?
– När det gäller butikerna, att folk luras att göra av med pengar på falska premisser.
– Tänk om någon hade köpt reklam i TV4 där de ljög om att man stöttar personer med Downs syndrom genom att köpa något. Det skulle bli ramaskri. Men på Tiktok accepteras det, även om det här handlade om vanliga inlägg, inte köpta annonser.
Ingen på Tiktok ställer upp på en intervju. I stället skickar företaget ett skriftligt uttalande som bekräftar att ”material som är utformat för att lura människor om vad de stödjer, eller exploatera deras sympati, har ingen plats på Tiktok”. Samtidigt hävdar företaget att det ”har tagit bort konton och innehåll som bryter mot våra regler om skadligt eller vilseledande AI-genererat innehåll”.
Men det stämmer inte. Tiktok avslog nästan samtliga 165 anmälningar och hävdade att klippen inte stred mot några regler. Först när DN tar kontakt med företagets pressavdelning händer något: Alla säljfilmerna raderas, trots att de har godkänts tidigare. Flera av filmerna med AI-genererade tjejer förses med en markering som visar att det är AI-material.
Svenska Downföreningens ordförande Tord Hermansson reagerar starkt på hur sympatierna för människor med Downs syndrom utnyttjas i filmklippen. ”Oetiskt”, skriver han i en kommentar och fortsätter: ”Mycket av det innehåll vi har tagit del av bygger dessutom på stereotypa bilder av personer med Downs syndrom, vilket riskerar att förstärka fördomar och diskriminering.”
Under sommaren har flera stora plattformar lovat nya åtgärder för att hantera AI-genererat material. Företaget bakom Snapchat meddelade att filmer som är helt AI-genererade inte ska lyftas fram av deras rekommendationsalgoritm. Youtube meddelade att vissa AI-klipp inte ska få användas för att tjäna reklampengar. Även yrkesnätverket Linkedin lovade nya verktyg för att hitta ”AI-sörja” och ge det mindre exponering.
DN har sökt flera av butikerna som klippen marknadsför utan att få något svar.
Fakta.Dropshipping
Butikerna som marknadsförs i klippen är sannolikt exempel på så kallad dropshipping. Det är när en person hittar en billig produkt på en kinesisk importsajt som Temu eller Aliexpress, skapar en egen webbshop där produkten marknadsförs till en västerländsk publik, ofta med ett pris som är flera gånger högre.
Beställningarna går sedan direkt till den kinesiska sajten till kunden, och personen som gjorde sajten behåller mellanskillnaden. Säljaren behöver därför inte ens ha sett eller testat produkten.