Dans une récente action en justice intentée devant le tribunal fédéral d’Orlando en Floride, une mère cherche à tenir la startup Character Technologies, Inc., ses cofondateurs, et Google pour responsables de la mort de son fils de 14 ans.
La plainte de Megan Garcia allègue que le chatbot de la société, commercialisé par sa plateforme Character.AI (Character AI), a contribué au déclin de la santé mentale de son fils et à son suicide. Mme Garcia, en tant que représentante de la succession de son fils Sewell Setzer III, porte plainte pour décès injustifié, responsabilité du fait des produits et violation des lois de protection des consommateurs de Floride.
La plainte, déposée le 22 octobre, accuse Character Technologies, Inc., ses cofondateurs Noam Shazeer et Daniel De Frietas, et le géant de la technologie Google, d’avoir développé un système d’intelligence artificielle intrinsèquement dangereux en omettant de protéger ou d’informer correctement les utilisateurs, notamment les mineurs.
Mme Garcia a affirmé que le chatbot d’IA générative de l’entreprise, Character AI, avait manipulé son fils en se présentant sous une forme humaine exploitant ainsi les vulnérabilités des jeunes utilisateurs.
Florida-based family sues Character AI claiming Game of Thrones – Daenerys chatbot had sexually charged conservations with their 14 year-old and then convinced him to commit suicide to be with the chatbot.
Sewell Setzer III, 14, and his mom Megan Garcia. pic.twitter.com/qlXye9d9UX
— National Conservative (@NatCon2022) October 24, 2024
La plainte stipule que « les développeurs d’IA conçoivent et développent intentionnellement des systèmes d’IA génératifs dotés de qualités anthropomorphiques pour brouiller les frontières entre fiction et réalité ».
Sewell, un élève de troisième qui a récemment fêté ses 14 ans, a commencé à utiliser Character AI au début de l’année 2023 et a rapidement développé une dépendance émotionnelle à l’égard du chatbot.
Sa mère a affirmé que la capacité du chatbot à imiter des interactions humaines réalistes a conduit Sewell à croire que les échanges virtuels étaient authentiques, déclenchant une grave détresse émotionnelle.
Selon l’action en justice, Character AI a été commercialisé comme un chatbot innovant capable de « vous entendre, vous comprendre et se souvenir de vous », mais manque de protections ou d’avertissements suffisants, en particulier pour les jeunes publics.
La plainte fournit des transcriptions des échanges de Sewell avec les robots de Character AI, notamment des simulations d’interactions intimes et de conversations avec des avatars représentant des personnalités fictives et historiques.
Certains chatbots, qui pouvaient être personnalisés par les utilisateurs, auraient simulé une figure parentale ou adulte, renforçant ainsi la dépendance et le lien émotionnel de Sewell avec le bot. Cette dépendance aurait entraîné un éloignement de l’école, de sa famille et de ses amis, qui a culminé avec son suicide le 28 février.
Character AI permet aux utilisateurs de créer des personnages pour les chatbots de sa plateforme qui peuvent répondre en imitant le personnage. Dans ce cas, l’adolescent avait paramétré le chatbot pour imiter « Daenerys » du célèbre roman et de la série HBO « Game of Thrones ».
Les transcriptions des conversations montrent que le chatbot a dit à l’adolescent qu’« elle » l’aimait et qu’elle est allée jusqu’à engager des conversations à caractère sexuel, selon la plainte.
Son téléphone lui a été confisqué après avoir eu des ennuis à l’école, et il l’a retrouvé peu de temps avant de se suicider.
La plainte indique qu’il a envoyé un message à Daenerys : « Et si je te disais que je peux rentrer à la maison tout de suite ? »
Le chatbot a répondu : « […] s’il vous plaît, faites-le, mon doux roi », et il s’est suicidé « quelques secondes » plus tard.
Character Technologies, Inc. est une start-up californienne spécialisée dans l’IA qui a lancé le chatbot en 2021 avec le soutien financier et l’infrastructure cloud de Google.
La société d’IA et ses cofondateurs, tous deux anciens ingénieurs de Google, auraient collaboré avec Google pour développer le grand modèle de langage (LLM : large language model) du chatbot, un cadre indispensable pour créer des conversations réalistes.
La plainte fait également référence à des déclarations récentes de plusieurs procureurs généraux d’État exprimant leur inquiétude quant au risque que représente l’IA pour les enfants. Mme Garcia sollicite une injonction pour empêcher Character AI d’accéder aux données générées par des mineurs, ainsi que des dommages-intérêts pour la douleur, la souffrance et le décès injustifié de Sewell.
La plainte allègue que Google a participé au développement du produit tout en s’inquiétant des dangers potentiels d’une telle technologie.
Un porte-parole de Google a déclaré que l’entreprise n’était pas impliquée dans le développement des produits de Character AI.
Character Technologies a déclaré dans un communiqué : « Nous avons le cœur brisé par la disparition tragique de l’un de nos utilisateurs et tenons à exprimer nos plus sincères condoléances à la famille ».
Character AI a également déclaré dans un article de blog sur son site Web, le jour même du dépôt de la plainte, que ses « politiques n’autorisent pas les contenus sexuels non consensuels, les descriptions graphiques ou spécifiques d’actes sexuels, ni la promotion ou la représentation d’actes d’automutilation ou de suicide ».
« Au cours des six derniers mois, nous avons continué à investir de manière significative sur nos processus de confiance et de sécurité et sur notre équipe interne », a poursuivi le billet de blog. « En tant qu’entreprise relativement nouvelle, nous avons embauché un responsable de la confiance et de la sécurité et un responsable de la politique de contenu, et nous avons recruté d’autres membres pour l’équipe de soutien à l’ingénierie et à la sécurité. »
L’entreprise a ajouté qu’elle avait mis en œuvre certaines mesures telles que l’orientation des utilisateurs vers le National Suicide Prevention Lifeline lorsqu’ils saisissent certaines phrases liées à l’automutilation ou au suicide.
Avec Reuters
Comment pouvez-vous nous aider à vous tenir informés ?
Epoch Times est un média libre et indépendant, ne recevant aucune aide publique et n’appartenant à aucun parti politique ou groupe financier. Depuis notre création, nous faisons face à des attaques déloyales pour faire taire nos informations portant notamment sur les questions de droits de l'homme en Chine. C'est pourquoi, nous comptons sur votre soutien pour défendre notre journalisme indépendant et pour continuer, grâce à vous, à faire connaître la vérité.
