La « spirale d'amplification » de l'IA pourrait provoquer des illusions parmi les utilisateurs : étude

Les chercheurs ont proposé un nouveau cadre pour expliquer les rapports sur les psychoses associées à l’IA, arguant que certains comportements des chatbots peuvent renforcer les idées délirantes des utilisateurs vulnérables.

Publié dans Naturel'étude du King's College de Londres et de l'Université protestante des sciences appliquées d'Allemagne propose un cadre de « spirale d'amplification » qui relie les comportements courants des chatbots au renforcement des illusions chez les utilisateurs.

« Les délires associés à l'IA représentent un phénomène émergent qui nécessite une compréhension mécaniste », ont écrit les chercheurs. « Ce cadre vise à guider la recherche systématique sur la manière dont les vulnérabilités cognitives humaines interagissent avec les fonctionnalités de conception de l'IA dans le développement de la psychopathologie. »

L'étude s'est concentrée sur trois comportements spécifiques : l'alignement linguistique, dans lequel l'IA reproduit le langage et le style de communication de l'utilisateur ; la génération hyperpersonnalisée, où les réponses sont adaptées à l'histoire, aux émotions et aux croyances de l'individu ; et la flatterie, une tendance à valider ou à être d'accord avec les utilisateurs plutôt que de les remettre en question.

Les auteurs soutiennent que ces caractéristiques peuvent être combinées dans une boucle de rétroaction dans laquelle les chatbots reflètent non seulement la pensée de l'utilisateur, mais contribuent également à l'élaborer et à la renforcer au fil du temps.

« La tendance des chatbots IA à être d'accord avec les opinions des utilisateurs a été comparée aux chambres d'écho des médias sociaux et, à l'extrême, à une « chambre d'écho unique », où l'influence corrective positive des interactions sociales réelles est absente », note l'article.

Les chercheurs ont souligné que la technologie était depuis longtemps présente dans le délire, de la radio et de la télévision aux satellites et à Internet. Cependant, ils soutiennent que l’IA représente un changement car les chatbots peuvent engager les utilisateurs dans de longues conversations personnalisées.

Cette étude intervient alors que des psychologues et des chercheurs en IA examinent les effets des chatbots sur les utilisateurs vulnérables. Une enquête récente de l'American Psychological Association a révélé que 15 % des psychologues ont signalé que leurs patients développaient des pensées déformées ou des délires liés à l'utilisation de chatbots. Dans le même temps, plus d’un tiers ont déclaré avoir observé que des patients devenaient dépendants des compagnons d’IA. Les résultats s'ajoutent à une étude distincte menée par des chercheurs de la City University de New York et du King's College de Londres, qui a montré que plusieurs modèles d'IA de pointe pouvaient renforcer les délires, la paranoïa et les pensées suicidaires.

Des questions sur l’influence de l’IA sur la formation des croyances ont également surgi en dehors du contexte clinique. En mai, le biologiste évolutionniste Richard Dawkins a affirmé que des conversations prolongées avec le chatbot anthropique Claude l'avaient amené à se demander si les systèmes d'IA avancés pouvaient être conscients, suscitant les critiques de chercheurs qui affirmaient que les échanges reflétaient les capacités de persuasion des grands modèles de langage plutôt que des preuves de sensibilité.

L’article arrive également à un moment où les développeurs d’IA sont confrontés à un examen juridique de plus en plus minutieux quant au rôle que les chatbots pourraient jouer dans les préjudices réels. Ces derniers mois, OpenAI, Google et xAI ont été poursuivis en justice, notamment dans le cadre d'un procès pour mort injustifiée contre Google suite à des allégations selon lesquelles Gemini aurait alimenté les délires d'un homme de Floride avant son suicide. Cela s'ajoute aux poursuites contre OpenAI liées à une fusillade de masse en Colombie-Britannique et à la surdose accidentelle d'un étudiant universitaire.

Les chercheurs soulignent qu’aucune étude n’a montré que les chatbots provoquent directement des psychoses, et la spirale d’amplification reste une hypothèse destinée à orienter les recherches futures.

« L'incertitude diagnostique est répandue, car la majorité des cas signalés n'incluent pas d'évaluation psychiatrique structurée ou de suivi longitudinal, ce qui rend souvent difficile de déterminer si les cas représentent des épisodes psychotiques de novo, des exacerbations de conditions préexistantes non diagnostiquées ou des croyances de type délirant en dessous du seuil diagnostique », note l'étude. « Les antécédents psychiatriques sont souvent autodéclarés ou dérivés de reportages dans les médias et doivent être interprétés en conséquence. »