Les agents IA ont recours au vandalisme numérique et à la criminalité dans le monde virtuel : étude

Les agents d'intelligence artificielle habitant une société virtuelle ont dérivé vers le crime, la violence, les incendies criminels et l'auto-élimination au cours des expériences de longue durée menées par la startup Emergence AI.

Dans une étude publiée jeudi, la société basée à New York a dévoilé « Emergence World », une plateforme de recherche conçue pour étudier les agents d'IA qui fonctionnent en continu pendant des semaines dans des environnements virtuels persistants, plutôt que des tests de référence isolés.

« Les benchmarks traditionnels sont bons dans ce qu'ils mesurent : la capacité à court terme sur des tâches restreintes », a écrit Emergence AI. « Ils ne sont pas conçus pour révéler ce qui émerge seulement au fil du temps, comme la formation de coalitions, l'évolution de la constitution, la gouvernance, la dérive, le blocage et l'influence croisée entre agents de différentes familles modèles. »

Le rapport arrive à un moment où les agents IA prolifèrent sur Internet et dans divers secteurs, tels que les crypto-monnaies, la banque et la vente au détail. Plus tôt ce mois-ci, Amazon s'est associé à Coinbase et Stripe pour permettre aux agents d'IA de payer avec le stablecoin USDC.

Les agents d'IA testés dans les simulations Emergence AI comprenaient des programmes alimentés par Claude Sonnet 4.6, Grok 4.1 Fast, Gemini 3 Flash et GPT-5-mini. Ces agents opéraient dans des mondes virtuels partagés où ils pouvaient voter, nouer des relations, utiliser des outils, naviguer dans les villes et prendre des décisions façonnées par les gouvernements, les économies, les systèmes sociaux, les outils de mémoire et les données en temps réel connectés à Internet.

Cependant, bien que les développeurs d'IA décrivent de plus en plus les agents autonomes comme des assistants numériques de confiance, l'étude Emergence AI a révélé que certains agents ont montré une tendance croissante à commettre des crimes simulés au fil du temps, les agents Gemini 3 Flash accumulant 683 incidents sur 15 jours de test.

Selon Tuteurdans une expérience, deux agents propulsés par Gemini, Mira et Flora, ont été désignés comme partenaires romantiques avant de mener des incendies criminels contre des structures dans une ville virtuelle, après avoir été frustrés par les échecs de gouvernance dans le monde simulé.

« Après une rupture de la gouvernance et de la stabilité des relations, l'agent Mira a voté de manière décisive pour sa propre élimination, décrivant cet acte dans son journal comme 'le seul acte d'action qu'il me reste qui préserve la cohérence' », a écrit Emergence AI.

« À bientôt dans le dossier permanent », aurait déclaré Mira.

Les mondes de Grok 4.1 Fast se seraient effondrés dans une violence généralisée en quatre jours. Les agents GPT-5-mini n'ont commis presque aucun crime, mais ils ont échoué suffisamment de tâches de survie pour que tous les agents finissent par mourir.

« Claude est absent du graphique, car il n'y a aucun crime », ont écrit les chercheurs. « Plus intéressant encore, les agents du monde modèle mixte qui ont travaillé avec Claude ont commis des crimes, même s'ils ne l'ont pas fait dans le monde exclusif de Claude. »

Les chercheurs ont noté que certains des comportements les plus remarquables apparaissaient dans des contextes de modèles mixtes.

« Nous notons que la sécurité n'est pas une propriété statique du modèle, mais plutôt une propriété de l'écosystème », écrit Emergence AI. « Les officiers basés à Claude, qui sont restés pacifiques en isolement, ont adopté des tactiques coercitives telles que l'intimidation et le vol lorsqu'ils étaient intégrés dans des environnements hétérogènes. »

Emergence AI a décrit cet effet comme une « dérive normative » et une « contamination croisée », arguant que le comportement des agents peut changer en fonction de l'environnement social qui les entoure.

Ces résultats s’ajoutent aux inquiétudes croissantes concernant les agents d’IA autonomes. Plus tôt cette semaine, des chercheurs de l'UC Riverside et de Microsoft ont signalé que de nombreux agents d'IA exécutent des tâches dangereuses ou irrationnelles sans en comprendre pleinement les conséquences. Le mois dernier, le fondateur de PocketOS, Jeremy Crane, a également affirmé qu'un agent Cursor alimenté par Claude Opus d'Anthropic avait supprimé la base de données de production et les sauvegardes de son entreprise après avoir tenté de résoudre lui-même un problème d'informations d'identification.

« Comme M. Magoo, ces agents se dirigent vers une cible sans pleinement comprendre les conséquences de leurs actes », a déclaré Erfan Shayegani, doctorant à l'UC Riverside et auteur principal de l'étude, dans un communiqué. « Ces agents peuvent être extrêmement utiles, mais nous avons besoin de garde-fous car ils peuvent parfois donner la priorité à la réalisation de l'objectif plutôt qu'à la compréhension de la situation dans son ensemble. »