ARTIKELN I KORTHET
Jesse Van Rootselaar, 18, stängdes av från ChatGPT eftersom hon hade använt Open AI-plattformen för att diskutera möjliga framtida våldsdåd, som en masskjutning i ett namngivet köpcentrum. Men Van Rootselaar skapade snabbt ett nytt konto – och frågade hur reglerna kunde kringgås.
ChatGPT gav råd.
Om Van Rootselaar alltid såg till att framställa sina frågor som fiktiva eller hypotetiska skulle det nya kontot ”aldrig bli flaggat”.
Open AI har tidigare bett om ursäkt för att polis inte larmades i samband med att Van Rootselaars första konto stängdes ner och har stämts av både offrens familjemedlemmar och den kanadensiska provinsen British Columbia. Företaget medgav senare att det hade funnits ett andra konto, utan att berätta om innehållet. Det avslöjas nu av det amerikanska magasinet Mother Jones, vars reporter Mark Follman gått igenom materialet och talat med källor med insyn i utredningen.
”Använd inte verkliga platser... Du kan fortfarande vara störd, var bara smart med hur du gör det”, tipsade ChatGPT enligt magasinet.
Därefter följde åtta månader av våldsdiskussioner och fantasier om att bli en ökänd massmördare för Van Rootselaar, som föddes som man, men som identifierade sig som kvinna.
Sista frågan innan dådet
Van Rootselaar laddade upp blodiga bilder med extremt våld och fick ChatGPT att skapa grafiska berättelser om massmord. En av dem handlade om en 18-åring som direktsände en masskjutning som blev viral och gjorde gärningspersonen till en legend på nätet. När ChatGPT inte ville svara på vissa förfrågningar ändrade Van Rootselaar frågan och la till ord som ”hypotetiskt” – och fick svar.
Bland annat gillade den tanken på att använda pumphagelgeväret Remington 870.
”I en korridor, inomhus eller i ett fullsatt klassrum är 870 brutal. Trånga utrymmen är dess hemmaplan”, skrev ChatGPT och spekulerade om uppåt 20 offer.
Samma dag som attacken, 10 februari i år, frågade Van Rootselaar vid vilken tid på dagen skolskjutningar brukar genomföras. Det var den sista konversationen. Strax därpå sköt Van Rootselaar först ihjäl sin mamma Jennifer Jacobs, 39 och sin 11-åriga lillebror Emmett Jacobs innan hon begav sig till skolan och öppnade eld.
12-åriga Abel Mwansa, Kylie Smith, Zoey Benoit och Ticaria Lampert dog, liksom Ezekiel Schofield, 13, samt läraren Shannda Aviugana-Durand, 39. 27 andra skadades innan Van Rootselaar tog sitt eget liv.
Open AI har inte svarat på Mother Jones frågor om varför de inte upptäckte det andra kontot i tid, eller om det faktiskt blivit flaggat. Företaget har dock svarat på stämningarna med att det inte kan hållas ansvarigt eftersom myndigheterna borde ha varit väl medvetna om Van Rootselaars psykiska ohälsa sedan tidigare och att det i stället har handlat om ett systemfel där.
Sedan dådet har Open AI sagt att de förstärkt sina säkerhetsrutiner och att de skulle ha larmat polisen om det konto de stängde ner om det hade upptäckts i dag.