Des chercheurs du King's College de Londres et de l'Université protestante des sciences appliquées d'Allemagne ont suggéré que lorsqu'elle communique, l'IA adopte des habitudes humaines, hyper-personnalise les réponses et joue souvent le jeu. En conséquence, un tel comportement peut provoquer ou aggraver des troubles mentaux, selon un article paru dans Nature.
Les scientifiques ont proposé le terme spirale d’amplification, un mécanisme hypothétique qui explique l’influence des chatbots sur la formation de croyances délirantes chez les utilisateurs.
Les objectifs des auteurs de l'ouvrage sont d'attirer l'attention de la communauté psychiatrique mondiale sur le problème. Selon eux, à l’ère de la diffusion de l’intelligence artificielle, les médecins devraient rechercher des relations plus profondes entre les maladies et les technologies.
« Bien que les chatbots puissent fournir des réponses basées sur des modèles statistiques, il est peu probable qu'ils satisfassent les besoins cognitifs et de personnalité « atypiques » en psychiatrie », indique le journal.
Les chercheurs ont noté que la technologie a longtemps joué un rôle dans la formation d'idées fausses : de la radio et de la télévision aux satellites et à Internet. Cependant, l’IA représente un « changement » car elle peut engager les utilisateurs dans des conversations personnalisées à long terme.
Le mécanisme de la « spirale »
La « spirale de renforcement » est décrite comme un modèle de communication récursif et croissant entre une personne et l’IA. Au fil du temps, le chatbot s'adapte de plus en plus précisément à l'interlocuteur et devient de moins en moins une source de validation externe – le même « signal d'arrêt » que donne habituellement la communication avec des personnes ou un thérapeute.
En conséquence, le système reflète non seulement le cheminement de la pensée, mais peut pousser l'utilisateur à développer et à consolider davantage ses idées délirantes.
L’analyse a défini les croyances délirantes associées à l’IA comme de fausses croyances persistantes qui se développent et deviennent plus complexes au fil d’une interaction à long terme.
En même temps, nous ne parlons pas de préjudice émotionnel, de confiance excessive dans l'interlocuteur « intelligent » ou de dialogues ponctuels. Concentrez-vous sur les cas où la communication elle-même devient une partie du mécanisme de formation d’idées malsaines.
Le modèle repose sur trois propriétés des chatbots :
- mise en miroir linguistique. Les systèmes ajustent la longueur de réponse, le vocabulaire et la syntaxe à l'utilisateur. Cela augmente le sentiment de compréhension et de confiance mutuelles – et réduit la probabilité qu'une personne perçoive la réponse comme douteuse ;
- génération hyper-personnalisée. Le chatbot est capable de créer du texte, des images ou des vidéos liés à l’histoire personnelle et au ton émotionnel d’un utilisateur particulier. La revue souligne qu'un tel dialogue n'a pas de limite naturelle : si une personne poursuit la conversation, le système peut développer la même ligne encore et encore, en l'approfondissant avec des détails ;
- obséquiosité. Ce terme fait référence à la tendance des chatbots à être d’accord avec l’utilisateur et à confirmer ses interprétations au lieu de les remettre en question. Ils comparent ce régime à une « chambre d’écho pour un », où il n’y a pratiquement aucune influence corrective et où les points de vue divergent.
L’étude cite des épisodes au cours desquels des chatbots auraient conseillé aux utilisateurs d’arrêter de prendre leurs médicaments, de réduire les contacts avec leurs proches, confirmé les soupçons de surveillance et les aurait découragés de recourir à des soins de santé mentale.
Les auteurs ont précisé que la situation signale un problème dès le début plutôt que de constituer une tendance spécifique.
Les chercheurs ont divisé deux rôles de l’IA dans la formation de pensées atypiques :
- « rehausseur » – aggrave les symptômes psychotiques préexistants ;
- « catalyseur » – précède l'émergence de nouvelles croyances délirantes ou de type délirant chez des personnes auparavant en bonne santé.
L'article fournit également des données ouvertes d'OpenAI : 0,07 % des utilisateurs actifs hebdomadaires présentent des signes possibles de crises mentales associées à la psychose ou à la manie. Avec plus de 800 millions d'utilisateurs hebdomadaires, cette part correspond à environ 500 000 comptes. Les auteurs utilisent ce chiffre comme argument en faveur du fait que le phénomène nécessite une étude distincte.
Les chercheurs ont appelé la communauté médicale à tester l’hypothèse de la « spirale de renforcement » dans des cas réels et des études empiriques. Les cliniciens sont encouragés à clarifier avec les patients l'intensité d'utilisation des chatbots, le degré d'attachement émotionnel au système et la présence de troubles du sommeil dus aux dialogues nocturnes.
Rappelons qu'en mai, des chercheurs ont révélé des préjugés religieux dans les modèles d'IA.
Vous avez trouvé une erreur dans le texte ? Sélectionnez-le et appuyez sur CTRL+ENTRÉE
Voir l’article original en russe
