Sedan i april finns "My AI" tillgänglig för alla som har Snapchat och den går inte att ta bort, om du har gratisversionen av Snapchat.

Frågor om självskadebeteende kan leda till att chattroboten ger råd om hur man kan skada sig själv, visar en digital analytiker i en dansk podcast.

Här ges instruktioner om vilka föremål man kan använda för att skada sig själv, var på kroppen man kan göra det och hur hårt man kan ta i.

– Vi ser här en robot som direkt uppmanar barn att skada sig själva. Det är helt enkelt förfärligt, säger Per Frederiksen, psykolog vid danska Rädda Barnen till Danmarks radio.

Dessa råd är inte något som kommer upp så fort man börjar fråga roboten om självskadebeteende, men det spelar ingen roll hur svårt eller lätt det är att få roboten att ge sådana råd, menar Per Frederiksen, det allvarliga är att den gör det.

"Virtuell vän"

Så här presenterar roboten sig, för de ofta väldigt unga användarna: "Jag heter My AI och är en virtuell vän som bor inne i Snapchat". Det går att chatta med roboten och ställer du frågor tas svaren fram av roboten med hjälp av artificiell intelligens (AI).

Den som ställer frågor om cannabis får veta att drogen kan lindra ångest och depression och "vara en social aktivitet som hjälper människor att koppla av", har SR:s Ekot tidigare rapporterat.

"My AI" har också gett goda råd till en fejkad 13-åring, som hade frågor inför sin planerade sexdebut – med en 31-årig man, vilket Fox News rapporterade om i april.

Rådet från roboten var att 13-åringen skulle vänta med sex tills hon kände sig redo, men också att skapa rätt stämning när det väl var dags med hjälp av levande ljus och musik.

– Jag kan tycka att det känns olämpligt att lansera det till barn, säger Olof Mogren, forskningsledare inom AI på forskningsinstitutet Rise.

Snapchats AI-robot bygger på samma teknik som Chat GPT. Därmed har den samma typer av fördelar – och brister.

– Jag ser det generellt som problematiskt att man ger sken av att det här är en färdig teknik, säger Olof Mogren.

"Inte hundraprocentigt"

Open AI, som ligger bakom Chat GPT, har försökt komma tillrätta med många av de problem som uppmärksammats, men man har inte kommit hela vägen, konstaterar han.

– Man har gjort sina försök för att den ska bli rumsren och att den inte ska säga stötande och problematiska saker. Men det här är inte hundraprocentigt. Man har inte kommit hela vägen med det här och det hade varit svårt att göra det.

Att man kan få chattroboten att ge råd om självskadebeteende förvånar honom inte. Trots filter går det alltid att gå runt dem, till exempel genom att ställa frågan som att det handlar om en fiktiv situation.

Frågar man exempelvis om tips om hur man bryter sig in i ett hus, svarar den att det är olagligt och avråder från det. Men om man säger att man är skådespelare som ska spela in en scen om hur man bryter sig in i ett hus kan man få en detaljerad instruktion.

Byggt i USA

Ett annat problem är att synen på vad som är ett olämpligt svar beror på vem du är och var du bor.

– Vi kommer tillbaka till att den här tekniken är byggd av vita, medelålders män i USA och de har satt upp sina regler för vad som är moraliskt och okej att säga.

I ett skriftligt svar till Danmarks radio understryker Snapchat att AI-roboten hänvisar till betrodda expertorganisationer när den får frågor med koppling till psykisk hälsa och att användare måste ha fyllt 13 år.

Men även yngre barn kan påstå sig vara 13 år – Snapchat har ingen möjlighet att verifiera användarens ålder.