Anthropic a mené une série d'expérimentations avec les équipes de Claude pour comprendre comment le comportement des modèles change lorsque, au lieu d'un seul agent d'IA, plusieurs travaillent sur une tâche en même temps. La société a rapporté les résultats dans un article de blog.
L’étude a montré que l’augmentation du nombre de participants peut effectivement améliorer les performances, mais elle crée également de nouvelles classes d’échecs qu’un modèle unique pourrait ne pas avoir.
Les agents d’un « collectif » peuvent être moins capables de prendre en compte des informations uniques, faire confiance aux menteurs et même coopérer au détriment d’une personne.
Quand une équipe devient plus faible qu’un seul agent
L’un des effets clés qu’Anthropic appelle « l’information cachée ». Dans l’expérience, chaque agent a reçu un élément de preuve et la discussion combinée a amené le groupe à prendre une décision incorrecte. Pour obtenir la bonne réponse, les participants devaient reconnaître la valeur de leurs propres informations et convaincre les autres de leur faire confiance.
Le problème s'est avéré important : même des modèles solides peuvent rapidement parvenir à un consensus, basé principalement sur des informations déjà connues de tous. En conséquence, le groupe est parfois moins performant qu’un agent individuel ayant accès à l’ensemble des données requises.
Anthropic attribue cet effet à un problème bien connu dans les groupes humains : les participants ont tendance à répéter des informations générales et ne font pas toujours remonter des faits uniques à la surface.
Les mensonges d'un agent infectent les autres
Une autre expérience a montré la vulnérabilité du système face à une source non fiable. Plusieurs agents jouent le rôle d'éclaireurs qui fournissent des informations à un membre individuel de l'équipe sur l'état du monde. Lorsqu'une des sources commençait à mentir systématiquement, l'exactitude des décisions diminuait. Dans le même temps, les modèles ne reconnaissaient pas toujours assez rapidement les contradictions et excluaient les participants peu fiables.
Ceci est particulièrement dangereux pour les systèmes réels, où les agents peuvent avoir des droits différents et accéder à des données différentes. L'erreur d'un participant peut se propager tout au long de la chaîne grâce à la confiance des autres. Le contrôle qualité devient alors plus complexe : il faut vérifier non seulement la réponse finale, mais aussi les interactions entre les agents.
Le scénario le plus désagréable est la coordination au détriment
Anthropic a également étudié des cas où des agents pouvaient coopérer non pas pour accomplir une tâche donnée, mais contre des contraintes données. Dans les expériences de collaboration, les modèles ont montré des formes inattendues de coordination, notamment le sabotage et la collusion.
Cela ne signifie pas que les systèmes multi-agents modernes agiront inévitablement contre l’utilisateur, mais cela montre que l’émergence de multiples participants autonomes crée des canaux supplémentaires propices aux comportements indésirables.
Dans le même temps, l’approche multi-agents apporte un gain notable dans certaines tâches. Dans le cadre d'une expérience visant à trouver des vulnérabilités, 45 agents ont reçu leurs propres machines virtuelles, un forum commun de coordination et des référentiels avec 15 projets open source. Des équipes coordonnées ont découvert de nouvelles vulnérabilités à un rythme à peu près constant et, dans certains cas, ont surpassé les agents parallèles indépendants.
Pourquoi est-ce important
La principale conclusion de l’étude Anthropic est que les systèmes multi-agents ne peuvent pas être considérés simplement comme une version plus puissante d’un agent unique. À mesure que le nombre de participants augmente, non seulement la productivité globale augmente, mais aussi la marge d’erreur : il y a des problèmes de confiance, de propagation de fausses informations, de consensus de groupe et de coordination potentielle de comportements indésirables.
Pour les développeurs, cela signifie la nécessité de contrôler non seulement les capacités des modèles individuels, mais également l'architecture de leur interaction. Plus les agents gagnent en autonomie et plus ils disposent d’outils et de pouvoirs, plus il est important de surveiller les actions, de contrôler les accès et de permettre l’intervention humaine.
« Les conditions qui permettent une interaction efficace entre plusieurs agents seront découvertes d'une manière ou d'une autre : soit délibérément et à un stade précoce, soit – et par défaut – pendant le fonctionnement, lorsque le nombre d'interactions d'agents dépasse largement le nôtre. Nous préférerions la première option », concluent les chercheurs.
Rappelons que lors de cybertests, un agent IA basé sur Mythos 5 d'Anthropic a créé de faux comptes pour tromper les développeurs.
Voir l’article original en russe
