Texter med invecklade och monotona meningar tror vi är producerade av en robot. Men en text som tar upp personliga erfarenheter eller beskriver saker i jag-form, ja då drar vi slutsatsen att den är skriven av en människa. I alla fall enligt en amerikansk studie där 4 600 personer fått läsa ett stort antal texter.

Forskarna använde ett antal olika AI-modeller för språk och tränade dessa i att skriva självbeskrivande texter. Texterna var av tre slag – jobbansökningar, presentationer för dejtingsajter och presentationer av värdar på Airbnb, en sajt för bostadsuthyrning. De lät också människor skriva motsvarande texter och totalt användes 7 600 presentationer.

Hälften rätt

I snitt träffade deltagarna rätt i hälften av fallen. Men det fanns mönster i vad som fick dem att tro det ena eller det andra. Där forskarna bad dem motivera varför de trodde att en viss text var AI-genererad återkom svar som att den innehöll krångliga meningar.

Om texten innehöll meningar i jag-form och om den handlade om egna upplevelser trodde deltagarna att den var skriven av en människa. Ett språk som uppfattades som varmt förknippades med en mänsklig skribent och en mer monoton stil med AI

– Människors intuition går på tvärs emot dagens design av AI-genererat språk. Dagens AI-språkmodeller skapar text utifrån de formuleringar som är vanliga medan vi tycks tro att det ska vara ett ovanligt och konstigt språk, säger Mor Naaman, en av forskarna bakom studien, i en artikel i Cornell Chronicle.

Återkoppling hjälpte inte

Forskarna testade också att erbjuda deltagarna i en grupp en belöning om de svarade rätt. De ville helt enkelt testa om det bidrog till att de ansträngde sig mer och därför svarade mer korrekt.

Men resultaten blev detsamma som för dem som inte erbjöds belöning. Det spelade heller ingen roll om deltagarna fick direkt återkoppling på om de hade svarat rätt eller fel. Det var fortfarande bara i runt 50 procent av fallen som det blev rätt.

Forskarna resonerar i artikeln, som publicerats i den vetenskapliga tidskriften PNAS, om AI-generad text skulle behöva en särskild ”AI-dialekt” så att det framgår att det inte är en människa utan till exempel Chat GPT som ligger bakom.

På så sätt kan AI-genererad text fylla en specifik roll i kommunikationen där den ger oss korrekt information utan att behöva leda till att vi människor blir misstänksamma mot varandra och leda till osäkerhet i om det är en maskin eller en människa som skapat ett innehåll, skriver de.