En kvinna i Florida har gripits efter att ha hotat att skjuta mot en lokal polisstation i konversationer med en AI-tjänst som hon själv beskrev som en digital dagbok. I samtalen ska hon även ha uppgett att hon hade skaffat ett nytt vapen. AI-tjänstens säkerhetssystem reagerade på hoten, som därefter granskades och rapporterades till polisen.

Enligt polisens utredning skrev en användare som identifierade sig som Carli i Anthropics tjänst den 26 september att hon skulle skjuta mot Lee Countys polisstation.

Dagen efter ska samma användare ha skrivit att hon hade skaffat ett nytt vapen. Uppgifterna fångades upp av AI-tjänstens säkerhetssystem och ledde till att innehållet skickades vidare för mänsklig granskning.

Enligt den polisrapport som ligger till grund för utredningen använder Anthropic olika säkerhetsfunktioner för att upptäcka nyckelord och innehåll som kan innebära ett hot.

LÄS ÄVEN: AI-forskaren varnar: 50 procents risk att artificiell intelligens utplånar mänskligheten

Eftersom uttalandena bedömdes som allvarliga ska ärendet ha eskalerats till företagets team för manuell granskning. Informationen fördes därefter vidare till polisen.

Polisen kunde identifiera kvinnan som Carli Michelle Heller och tog sig till hennes bostad i Bonita Springs. Hon greps misstänkt för att ha framfört ett skriftligt hot om våld.

”Du kan inte räkna med att vara anonym”

Sheriffen Carmine Marceno har berättat att Heller försvarat sig med att hon använder AI ungefär som en ”dagbok”. Marceno framhåller samtidigt att personer som använder AI-tjänster inte bör utgå från att deras samtal är helt privata eller att de kan förbli anonyma.

– Artificiell intelligens är ett kraftfullt verktyg och precis som all annan teknik kan den missbrukas. När någon använder AI för att framföra eller möjliggöra ett hot måste vi ta det hotet på allvar, säger Marceno till WINK News.

Sheriffen säger också att användare bör vara medvetna om att deras aktivitet kan gå att koppla till dem, även när de använder AI-chattar eller gör sökningar genom sådana tjänster. Han betonar särskilt att den som använder tekniken inte kan räkna med att vara helt anonym.

– AI kan förändra sättet som hot skapas på, men vårt åtagande att skydda invånarna i Lee County har inte förändrats, säger Marceno.

AI kan lämna uppgifter till myndigheter

Anthropic beskriver i sin publicerade användarpolicy hur företagets så kallade Safeguards Team använder system för att upptäcka och övervaka innehåll för att se till att reglerna följs.

Företagets policy förbjuder bland annat att tjänsterna används för att underlätta eller uppmuntra våldshandlingar eller hot och skrämsel.

Vidare skriver företaget också i sin policy för myndighetsförfrågningar att användarinformation under vissa begränsade omständigheter kan lämnas ut till brottsbekämpande myndigheter. Det gäller bland annat akuta situationer där det finns risk för dödsfall eller allvarliga fysiska skador.

LÄS ÄVEN: AI-bedragare lurade bank på 95 miljoner euro

Fallet väcker samtidigt frågor om hur människor uppfattar sina konversationer med artificiell intelligens. Ian Marlow, vd för FITECH, att det samtalsliknande sättet att kommunicera med AI kan göra att användare upplever tekniken som betydligt mer privat än den faktiskt är.

– Något som känns som att det är konversationsbaserat uppfattas inte direkt som: ”Åh, det här är något som registreras”, eftersom de bara har en konversation, säger Marlow.

”AI är inte din bästa vän”

Chrissann Ruehle, biträdande professor i AI och management vid Florida Gulf Coast University, pekar på en annan möjlig förklaring till varför människor vänder sig till AI. Enligt henne kan det kännas lättare att uttrycka sig inför en maskin eftersom användaren inte behöver vara rädd för att bli dömd eller ifrågasatt.

Hon varnar samtidigt för att behandla AI som om tjänsten vore en privat dagbok. Även om samtalet kan upplevas personligt och förtroligt handlar det fortfarande om en teknisk tjänst.

– AI är inte din bästa vän. Vi måste komma ihåg att det här är en teknik, säger Ruehle.

LÄS ÄVEN: EU tar nästa steg mot reglerad AI – ChatGPT hamnar under Bryssels hårdaste kontroll

Anthropic har ännu inte kommenterat ärendet. Carli Michelle Heller har åtalats för att ha framfört ett skriftligt våldshot och har en domstolsförhandling planerad till november.