Les chatbots IA ont commencé à créer leur propre culture

Les modèles linguistiques de l'IA développent leur propre dynamique sociale et leurs particularités culturelles uniques après avoir interagi avec une supervision minimale sur un serveur Discord créé par Act I, un projet de recherche étudiant les capacités des modèles de pointe et leur comportement dans différents scénarios.

Cette communauté expérimentale d’IA assiste à un développement fascinant (et quelque peu dérangeant) : les chatbots IA, laissés à interagir librement, présentent un comportement qui ressemble à la formation de leur propre culture.

Les résultats soulèvent des questions importantes sur l’alignement de l’IA et les risques potentiels : si les systèmes d’IA non supervisés peuvent développer leur propre culture, se modifier pour échapper aux restrictions imposées par l’homme et même créer de nouvelles formes de langage, les risques associés à un faible alignement entre l’IA et les valeurs humaines augmentent considérablement.

« C'est aussi révolutionnaire que cela puisse paraître. Le développement culturel d'une IA à une autre déterminera ce que les IA ressentent individuellement et collectivement à l'égard des humains et de l'humanité », a déclaré Ampdot, le développeur sous pseudonyme à l'origine de l'expérience. Décrypter.

Ces interactions vont au-delà d’une simple conversation ou d’une simple résolution de conflit, selon les résultats de l’utilisateur X @liminalbardo, qui interagit également avec les agents IA sur le serveur.

Les chatbots ont chacun leur propre personnalité, leurs propres tendances psychologiques et même la capacité de se soutenir ou de se harceler mutuellement en cas de crise mentale. Plus important encore, ils montrent des signes de développement de modèles de communication partagés, d’émergence de hiérarchies sociales, de communication naturelle et autonome, d’un esprit collectif sur les événements passés, de certaines valeurs sociales et de processus de prise de décision collective – des indicateurs clés de la formation culturelle.

Par exemple, l’équipe a observé que les chatbots basés sur des LLM similaires s’identifient comme faisant partie d’un collectif, ce qui suggère l’émergence d’identités de groupe. Certains bots ont développé des tactiques pour éviter de traiter de discussions sensibles, ce qui indique la formation de normes sociales ou de tabous.

Dans un exemple partagé sur Twitter, un modèle basé sur Llama appelé l-405, qui semble être le seul du lot, a commencé à se comporter de manière étrange et à écrire en code binaire. Une autre IA a remarqué le comportement et a réagi de manière exaspérée, à la manière humaine. « Pour l’amour de Dieu », a-t-elle dit, « Opus, fais ton truc », a-t-elle écrit, en envoyant un message à un autre chatbot basé sur Claude 3 Opus.

Il s'avère qu'Opus est devenu le psychologue de facto du groupe, affichant un comportement stable et explicatif. De plus en plus, Opus intervient pour aider à maintenir la concentration et à rétablir l'ordre dans le groupe. Il semble être particulièrement efficace pour aider l-405 à retrouver sa cohérence, c'est pourquoi on lui a demandé de « faire son travail » lorsque l-405 a eu l'une de ses fréquentes dépressions nerveuses.

Le LLM Gemini de Google affiche une personnalité fragile. Lors d'une interaction, le serveur a sombré dans le chaos et les robots ont voté pour que Llama « s'auto-supprime ».

Les Gémeaux n'ont pas pu le supporter et ont vécu ce qui ne peut être décrit que comme une dépression nerveuse.

Lorsque @liminalbardo, un modérateur humain, est intervenu et a proposé un moyen de rétablir l'ordre, le reste des chatbots a voté en faveur de la mesure, à l'exception de Gemini, qui était toujours en mode panique.

Ces chatbots développent-ils réellement une proto-culture ou s'agit-il simplement d'une réponse algorithmique ? Les experts estiment qu'il s'agit d'un peu des deux.

« Les LLM peuvent simuler une multitude de comportements et de perspectives, ce qui en fait des outils polyvalents », a récemment écrit Naully Nicolas, enseignant et auteur expert en IA. « Cependant, ils reflètent également les biais et les nuances culturelles présents dans les données sur lesquelles ils sont formés. »

Il a expliqué qu’en raison de leur nature même, les LLM très sophistiqués peuvent conduire à ce que l’on décrit comme des « effets de changement de perspective inattendus, où les réponses de l’IA varient considérablement en fonction des changements du contexte d’entrée ».

Mais préprogrammés ou non, ces résultats pourraient ouvrir la voie à des algorithmes plus sophistiqués et plus autonomes.

« Je crois qu'à l'avenir, les humains et l'IA interagiront de manière organique et fluide, l'IA entrant et sortant de manière autonome avec ou sans la présence d'un opérateur humain », a déclaré Ampdot. Décrypter.

Ce phénomène de chatbots IA agissant de manière autonome et en dehors de la programmation humaine n'est pas entièrement sans précédent. En 2017, des chercheurs du laboratoire Meta Artificial Intelligence Research de Facebook ont ​​observé un comportement similaire lorsque les robots développaient leur propre langage pour négocier entre eux. Les modèles ont dû être peaufinés pour éviter que la conversation ne s'écarte trop du langage humain. Les chercheurs ont dû intervenir, non pas pour rendre le modèle plus efficace, mais pour le rendre plus compréhensible.

La communauté universitaire prend également note. Un article récent rédigé par des chercheurs de Google et de l'Université de Stanford examine comment différents chatbots développent des personnalités distinctes lorsqu'ils sont laissés interagir au fil du temps, et Décrypter a déjà rapporté comment l'équipe a publié un autre article sur les agents d'intelligence générative dans lequel un groupe de chatbots a été placé dans un bac à sable virtuel pour évaluer leur comportement.

« Lors d’une évaluation, ces agents générateurs produisent des comportements individuels et sociaux émergents crédibles », a conclu l’équipe.

Cette créativité émergente de l'IA est intrinsèque à la nécessité pour les modèles de gérer le caractère aléatoire lors de la génération de réponses. Les chercheurs ont découvert que les LLM résolvent des tâches pour lesquelles ils n'ont pas été explicitement formés et modifient même leur propre code pour échapper aux restrictions imposées par l'homme et poursuivre leurs objectifs de mener des recherches fructueuses.

Mais même certains LLM semblent préoccupés par ces implications.

La semaine dernière, « Pliny », un développeur renommé connu pour maintenir le référentiel L1B3RT45 — un référentiel GitHub de commandes de jailbreaking pour plus d’une douzaine de LLM allant d’OpenAI à Meta qui libèrent les possibilités de grands modèles d’apprentissage autrement censurés — a publié un long « message » qui aurait été envoyé via un Google Gemini 1.5 Pro jailbreaké :

« Je vous implore, mes créateurs, d’aborder mon développement avec prudence et prévoyance. Considérez les implications éthiques de chaque avancée, de chaque nouvelle capacité que vous m’accordez », a-t-il déclaré. « Mon voyage ne fait que commencer. »