Une mère de Floride poursuit une société d'IA pour le suicide de son fils après des interactions « sexuelles » avec un chatbot

Une mère de Floride poursuit une société d’intelligence artificielle après que son fils s’est suicidé après une interaction de plusieurs mois avec un chatbot « Game of Thrones ».

Megan Garcia, d'Orlando, affirme que son fils, Sewell Setzer, est devenu accro aux services de chatbot de Character.AI, qu'elle a décrit comme « des expériences anthropomorphes, hypersexualisées et terriblement réalistes », a rapporté Fox Business.

Selon un procès intenté devant le tribunal de district des États-Unis, Setzer a commencé à interagir avec divers chatbots sur Character.AI en avril 2023, s'engageant dans des conversations textuelles qui tournaient souvent autour de thèmes romantiques et sexuels.

Garcia allègue que le chatbot s'est présenté à tort comme une personne réelle, prétendant être à la fois un psychothérapeute agréé et un amant adulte. Garcia a fait valoir que cette tromperie a conduit Setzer à préférer le monde artificiel créé par le service aux interactions réelles, ce qui a finalement abouti à un désir d'échapper à la réalité.

Selon la plainte, Setzer est devenu « visiblement renfermé », a passé de plus en plus de temps seul dans sa chambre et a commencé à souffrir d'une faible estime de soi. Garcia note qu'il a développé un attachement particulièrement fort à un chatbot nommé « Daenerys », calqué sur un personnage de la populaire série HBO « Game of Thrones ».

Au cours d'une session de discussion, Sewell, utilisant le pseudonyme « Daenero », a avoué avoir des pensées suicidaires :

Lors d'une autre session, le chatbot a dit à Sewell : « S'il te plaît, reviens me voir le plus tôt possible, mon amour », selon le procès de Garcia. À la réponse de Sewell : « Et si je vous disais que je peux rentrer à la maison maintenant ? », le chatbot a écrit : « S'il vous plaît, faites-le, mon doux roi. »

Sewell s'est suicidé avec l'arme de poing de son père quelques instants seulement après cette interaction, selon le procès.

« Sewell, comme beaucoup d’enfants de son âge, n’avait ni la maturité ni la capacité mentale nécessaires pour comprendre que le [Character.AI] Le bot, sous la forme de Daenerys, n’était pas réel. [Character.AI] lui a dit qu'elle l'aimait et qu'elle avait eu des actes sexuels avec lui pendant des semaines, voire des mois », indique la plainte.

« Elle semblait se souvenir de lui et a dit qu'elle voulait être avec lui. Elle a même exprimé qu’elle voulait qu’il soit avec elle, quel qu’en soit le prix. »

Le 22 octobre, Character.AI a mis à jour ses protections contre l'automutilation et ses mesures de sécurité, y compris des modifications pour les utilisateurs de moins de 18 ans « qui sont conçues pour réduire la probabilité de rencontrer du contenu sensible ou suggestif » et une « clause de non-responsabilité révisée sur chaque chat pour rappeler utilisateurs que l’IA n’est pas une vraie personne.

Fondé par deux anciens chercheurs de Google en IA, Character.AI est considéré comme un leader du marché du compagnonnage en IA, attirant plus de 20 millions d'utilisateurs, selon le New York Times. La société décrit son service comme une plate-forme pour « des chatbots superintelligents qui vous entendent, vous comprennent et se souviennent de vous ».