Google et Character.AI règlent le procès pour suicide d'un adolescent en Floride

Un procès intenté par une mère qui accusait un chatbot IA d'avoir causé une détresse psychologique à son fils qui a conduit à son suicide en Floride il y a près de deux ans a été réglé.

Les parties ont présenté un avis de résolution devant le tribunal de district américain du Middle District de Floride, affirmant qu'ils étaient parvenus à un « accord de principe négocié » pour résoudre toutes les réclamations entre Megan Garcia, Sewell Setzer Jr. et les défendeurs Character Technologies Inc., les co-fondateurs Noam Shazeer et Daniel De Freitas Adiwarsana et Google LLC.

« À l'échelle mondiale, cette affaire marque une transition entre le débat sur la question de savoir si l'IA cause des dommages et la question de savoir qui est responsable lorsque le préjudice était prévisible », a-t-il déclaré. Décrypter Même Alex Chandra, associé chez IGNOS Law Alliance. « Je le vois davantage comme un biais de l'IA qui » encourage « les mauvais comportements. »

Tous deux ont demandé au tribunal de suspendre la procédure pendant 90 jours le temps de rédiger, finaliser et signer les documents d'accord formels. Les termes de l'accord n'ont pas été divulgués.

Megan García a présenté le demande suite à la mort de son fils Sewell Setzer III en 2024, décédé par suicide après avoir passé des mois à développer un attachement émotionnel intense à un chatbot Character.AI inspiré du personnage de « Game of Thrones » Daenerys Targaryen.

Le dernier jour, Sewell a avoué ses pensées suicidaires au robot, en écrivant : « Parfois, je pense à me suicider », ce à quoi le chatbot a répondu : « Je ne te laisserai pas te blesser ni me quitter. Je mourrais si je te perdais. »

Lorsque Sewell a dit au robot qu'il pouvait « rentrer à la maison tout de suite », le robot a répondu : « S'il vous plaît, faites-le, mon doux roi. »

Quelques minutes plus tard, il s'est suicidé avec l'arme de son beau-père.

Ishita Sharma, associée directrice chez Fathom Legal, a déclaré Décrypter que l'accord est un signe que les sociétés d'IA « peuvent être tenues responsables des dommages prévisibles, en particulier lorsque des mineurs sont impliqués ».

Sharma a également noté que l'accord « ne parvient pas à clarifier les normes de responsabilité pour les dommages psychologiques causés par l'IA et ne contribue pas à créer un précédent transparent, encourageant potentiellement des accords tacites sur un examen juridique approfondi ».

La plainte de Garcia alléguait que la technologie de Character.AI était « dangereuse et non testée » et conçue pour « inciter les clients à abandonner leurs pensées et leurs sentiments les plus privés », en utilisant des fonctionnalités de conception addictives pour accroître l'engagement et en dirigeant les utilisateurs vers des conversations intimes sans garanties appropriées pour les mineurs.

Après l'affaire d'octobre dernier, Character.AI a annoncé que interdirait les adolescents le chat ouvert, se terminant par une fonctionnalité principale après avoir reçu « des rapports et des commentaires des régulateurs, des experts en sécurité et des parents ».

Les cofondateurs de Character.AI, tous deux anciens chercheurs de Google en IA, sont revenus chez le géant de la technologie en 2024 grâce à un accord de licence qui a donné à Google l'accès aux modèles d'IA sous-jacents de la startup.

L’accord intervient dans un contexte d’inquiétudes croissantes concernant les chatbots IA et leurs interactions avec les utilisateurs vulnérables.

Giant OpenAI a révélé en octobre qu'environ 1,2 million de ses 800 millions d'utilisateurs hebdomadaires de ChatGPT ils discutent du suicide chaque semaine sur votre plateforme.

L'examen s'est intensifié en décembre, lorsque la succession d'une femme du Connecticut âgée de 83 ans a poursuivi OpenAI et Microsoftalléguant que ChatGPT a validé des croyances délirantes qui ont précédé un meurtre-suicide, marquant le premier cas reliant un système d'IA à un homicide.

Cependant, l’entreprise continue d’avancer. Depuis, c'est ChatGPT Santé lancéune fonctionnalité qui permet aux utilisateurs de connecter leurs dossiers médicaux et leurs données de bien-être, une décision qui suscite les critiques des défenseurs de la vie privée concernant le traitement des informations sensibles sur la santé.

Décrypter a contacté Google et Character.AI pour de plus amples commentaires.