En résumé
- OpenAI a annoncé des améliorations de ChatGPT pour identifier les signes de risque de suicide, d'automutilation et de violence dans les conversations.
- La société a déclaré que ChatGPT utiliserait des « résumés de sécurité » temporaires pour analyser le contexte agrégé, et non les messages isolés.
- Cette annonce intervient alors qu'OpenAI fait face à des poursuites judiciaires alléguant des réponses inadéquates aux utilisateurs en détresse.
OpenAI a annoncé jeudi de nouvelles fonctionnalités de sécurité conçues pour aider ChatGPT à reconnaître les signes de risque croissant dans les conversations, alors que l'entreprise est confrontée à un examen juridique et politique croissant sur la façon dont son chatbot gère les utilisateurs en détresse.
Dans un article, OpenAI a noté que les mises à jour améliorent la capacité de ChatGPT à identifier les signaux d'alarme liés au suicide, à l'automutilation et à la violence potentielle, en analysant le contexte qui se développe au fil du temps plutôt que de traiter chaque message isolément.
« Les gens viennent sur ChatGPT chaque jour pour parler de ce qui compte pour eux, des questions quotidiennes aux conversations plus personnelles ou complexes », a écrit la société. « Dans des centaines de millions d'interactions, certaines de ces conversations incluent des personnes en difficulté ou en détresse. »
Selon OpenAI, ChatGPT utilise désormais des « résumés de sécurité » temporaires, qu'il décrit comme des notes à portée limitée qui capturent le contexte pertinent pour la sécurité des conversations précédentes.
« Dans les conversations sensibles, le contexte peut avoir autant d'importance qu'un simple message », a écrit la société. « Une demande qui semble ordinaire ou ambiguë en elle-même peut avoir une signification très différente lorsqu'elle est analysée avec des signes antérieurs de détresse ou une éventuelle intention nuisible. »
OpenAI a indiqué que les résumés sont des notes à court terme utilisées uniquement dans des situations graves, et non pour rappeler en permanence aux utilisateurs ou personnaliser les conversations, et sont utilisées pour détecter les signes indiquant qu'une conversation devient dangereuse, éviter de fournir des informations préjudiciables, désamorcer la situation ou guider les utilisateurs vers une aide professionnelle.
« Nous nous concentrons sur des scénarios aigus, tels que le suicide, l'automutilation et l'atteinte à des tiers », ont-ils déclaré. « En travaillant avec des experts en santé mentale, nous avons mis à jour les politiques et la formation de notre modèle pour améliorer la capacité de ChatGPT à reconnaître les signaux d'alarme qui émergent tout au long d'une conversation et à utiliser ce contexte pour générer des réponses plus réfléchies. »
Cette annonce intervient alors qu'OpenAI fait face à de multiples poursuites et enquêtes alléguant que ChatGPT n'a pas répondu de manière appropriée à des conversations dangereuses impliquant de la violence, une vulnérabilité émotionnelle et un comportement à risque.
En avril, le procureur général de Floride, James Uthmeier, a lancé une enquête sur OpenAI liée à des préoccupations concernant la sécurité des enfants, l'automutilation et la fusillade de masse de 2025 à l'université d'État de Floride. OpenAI fait également face à un procès fédéral alléguant que ChatGPT a aidé l'auteur présumé à mener l'attaque.
Mardi, OpenAI et son PDG Sam Altman ont été poursuivis devant un tribunal de l'État de Californie par la famille d'un étudiant de 19 ans décédé d'une surdose accidentelle, le procès alléguant que ChatGPT encourageait la consommation de drogues dangereuses et donnait des conseils sur la façon de mélanger des substances.
OpenAI a déclaré qu'aider ChatGPT à reconnaître « les risques qui ne deviennent apparents qu'avec le temps » reste un défi permanent ; Des méthodes de sécurité similaires pourraient éventuellement être étendues à d’autres domaines.
« Aujourd'hui, ce travail se concentre sur des scénarios d'automutilation et de préjudice envers autrui. À l'avenir, nous explorerons si des méthodes similaires peuvent être utiles dans d'autres domaines à haut risque, tels que la biologie ou la cybersécurité, avec des garanties minutieuses en place », ont-ils écrit. « Cela reste une priorité permanente et nous continuerons à renforcer les mesures de protection à mesure que nos modèles et notre compréhension évoluent. »
Débriefing quotidien Bulletin
Commencez chaque journée avec les principales actualités du moment, ainsi que des fonctionnalités originales, un podcast, des vidéos et bien plus encore.