Forskaren om AI-detektorer: Ingen vet exakt vad de tittar på
Nyligen har flera författare anklagats för att använda AI-skrivna texter i sitt författarskap. Deras texter har dragits genom AI-detektorer – verktyg för att kontrollera om en text är skriven av AI eller inte. Men hur fungerar de här verktygen?
Två nyliga fall är den franska författaren Thélyson Orélien som blev av med både förlag och en nominering till fint pris. Och i Sverige så har författaren och sociologiprofessorn Emma Engdahl granskats av Kvartal, där de också kontrollerat hennes texter med AI-detektorverktyget Pangram. Engdahl förnekar att hon ska ha använt AI för att skriva, men anklagelsen står kvar.
Hur säkra är de här AI-detektorerna och hur stor tilltro ska man ha till deras förmåga? Ganska stor, enligt Robert Östling, lektor i datorlingvistik på Stockholms universitet.
– De har ju oftast rätt, men det är tveksamt om det skulle hålla i en domstol. De brukar vara bra på att avgöra om det är AI-skriven text eller människoskriven text, även om människor försökt göra vissa redigeringar i efterhand.
De är till stor del fortfarande svarta lådor
AI analyserar texten rätt likt hur en människa skulle göra det – tittar på språket och meningsuppbyggnad, men den läser också av massa små saker som människor missar, men som indikerar AI-användning. Men forskare förstår faktiskt inte exakt vad det är som AI-detektorverktygen tittar på.
– Man förstår inte i detalj exakt hur de fungerar. De är till stor del fortfarande svarta lådor. Man matar in något, får ut ett svar, men man vet inte riktigt hur den kom fram till svaret, säger Robert Östling.
Han tillägger att han inte skulle vilja fälla någon som pekas ut av en AI-detektor.
– Även om den har rätt i 99% av fallen, stackars den där hundrade då, som blir fälld falskt.
Så arbetar vi
SVT:s nyheter ska stå för saklighet och opartiskhet. Det vi publicerar ska vara sant och relevant. Vid akuta nyhetslägen kan det vara svårt att få alla fakta bekräftade, då ska vi berätta vad vi vet – och inte vet. Läs mer om hur vi arbetar.