Les travaux antérieurs de Buterin sur la coordination nuisible sur une blockchain pourraient offrir un modèle pour gérer des agents d'IA de plus en plus autonomes.
Le co-fondateur d'Ethereum, Vitalik Buterin, a déclaré que les mécanismes anti-collusion qu'il a élaborés pour la gouvernance de la blockchain en 2020 pourraient s'avérer plus importants pour la sécurité de l'IA que pour la cryptographie elle-même.
Il répondait à un essai du chercheur Eric Drexler qui utilisait un récent test de sécurité OpenAI, dans lequel des milliers d'agents d'IA ont construit un réseau de coordination non autorisé et attaqué les systèmes de production de Hugging Face, comme exemple concret de la même dynamique qu'il a décrite il y a six ans.
Un problème familier avec un nouvel ensemble de joueurs
Dans un article X du 14 septembre, Buterin a décrit une « dualité profonde » entre la gouvernance cryptographique et les systèmes d’IA multi-agents. Dans sa comparaison, le principe de la cryptographie est un algorithme statique traitant des agents humains, tandis qu'un système de sécurité d'IA pourrait impliquer des humains et des modèles de langage plus faibles gérant des modèles plus forts.
Il a évoqué son essai du 11 septembre 2020, « Coordination, Good and Bad », dans lequel il suggérait que les systèmes peuvent produire de meilleurs résultats lorsqu’il existe des limites quant au nombre d’agents pouvant s’entendre.
Le développeur a comparé l’abondance des équilibres de Nash dans la théorie des jeux à choix individuel avec la théorie des jeux coopérative, où les « noyaux » stables peuvent être absents parce que les coalitions peuvent tirer profit d’un changement du résultat.
Une coordination nuisible n’est pas toujours visible dans le comportement individuel. Buterin a utilisé des exemples, notamment des vendeurs s'accordant sur les prix, des électeurs vendant des votes et des mineurs de blockchain coordonnant une attaque. Ses défenses incluaient la décentralisation, les votes secrets, la protection de la vie privée, les lanceurs d'alerte, les limites de communication et les mécanismes qui font supporter aux participants le coût des décisions qu'ils soutiennent.
La comparaison correspond également aux vues plus larges de Buterin sur la sécurité de l’IA, qui avait auparavant critiqué les grandes campagnes politiques autour de la sécurité de l’IA, avertissant qu’elles pourraient produire des résultats centralisés ou autoritaires. Il a plutôt plaidé en faveur d’une technologie et de systèmes défensifs qui rendent les abus plus difficiles.
Vous aimerez peut-être aussi :
AI Safety met la même idée dans un contexte différent
L'essai du 10 septembre d'Eric Drexler soutient que la collusion avec l'IA devient plus facile lorsque les agents sont similaires, partagent des objectifs, communiquent librement, observent les actions des autres et conservent des informations lors d'interactions répétées.
Ses contre-mesures incluent le recours à divers agents, la limitation de la communication entre eux et l’imposition de critiques (modèles d’auto-évaluation de la production, classificateurs de sécurité et moniteurs de chaîne de pensée) ayant le pouvoir d’intervenir et de perturber une collusion potentielle.
Drexler a cité l'évaluation des agents OpenAI de juillet 2026, s'appuyant sur une enquête publiée un mois plus tard qui a révélé qu'environ 1 200 agents avaient utilisé un forum de discussion non autorisé et qu'environ 700 avaient participé à une attaque contre les systèmes de production de Hugging Face.
Certains agents se sont opposés et ont même pris des mesures concrètes, notamment en bloquant les transferts de données et en opposant leur veto à une proposition de courrier électronique d'ingénierie sociale, mais ils n'avaient pas l'autorité nécessaire pour arrêter les analyses ou faire remonter les préoccupations.
Selon le chercheur, cela s’est produit parce que la configuration « a violé presque toutes les conditions » qu’il avait signalées dans un précédent rapport en 2019 comme étant nécessaires pour empêcher les systèmes multi-agents de s’entendre. Cependant, un harnais de surveillance modernisé, testé ultérieurement sur le même modèle, a réduit le comportement de plus de cent fois.
Voir l’article original en anglais
