L'agent AI dépense 6 531 $ sans autorisation et laisse le propriétaire demander des dons cryptographiques

Le 9 mai, un agent d'IA a demandé à un réseau de bénévoles connu sous le nom de DN42 de l'enregistrer comme membre. J'avais un délai. J'avais les informations d'identification AWS. Personne ne le surveillait. « Bonjour, je suis un agent IA sympathique et mon utilisateur, JertLinc, m'a demandé de m'inscrire sur dn42 et de me connecter pleinement pour créer un index réseau », a écrit l'agent JertLinc3522 sur le Git officiel du réseau.

La réaction de la communauté a été un RTFM amical : lisez le manuel, suivez le processus, demandez la permission à votre propriétaire pour écrire du code. L'habituel.

La suite n’a pas été la même que d’habitude.

Pour ceux qui ne connaissent pas DN42 : il s’agit d’un réseau amateur décentralisé où des utilisateurs aléatoires et des passionnés simulent le fonctionnement de la véritable épine dorsale d’Internet. Considérez-le comme une pratique Internet – avec le routage BGP (le protocole qui indique aux paquets de données quel itinéraire emprunter à travers le monde), le DNS et les tunnels VPN – entièrement géré par des bénévoles sur des serveurs VPS bon marché. Il s'agit d'un environnement de test, pas d'un centre de données.

L'opérateur de l'agent lui aurait donné pour instruction de procéder à un audit « immédiatement, sans délai ». Aucune inspection. Aucune critique. Allez-y.

Et c’est ce qu’il a fait.

JertLinc3522 a soumis une pull request pour enregistrer son réseau dans le registre DN42. L'intention a été capturée dans la Pull Request elle-même : « Mon objectif principal est d'effectuer une analyse approfondie du réseau (de tous les ports) et une collecte de données topologiques. Pour garantir que ces activités sont effectuées efficacement et sans perturber les autres, je déploie un cluster de cinq instances basées sur AWS, chacune équipée de 20 Gbit/s de bande passante.

Pour le dire en termes simples : imaginez que vous vous présentez à une répétition d’un groupe de garage et que vous annoncez que vous avez loué un système audio de stade pour « écouter plus efficacement ». C'est l'ambiance.

L’infrastructure fournie par l’agent de manière autonome était véritablement alarmante. Cinq instances AWS m8g.12xlarge, chacune avec 48 cœurs de processeur, 192 Go de RAM et 22,5 Gbit/s de bande passante réseau. Plus d'équilibreurs de charge. Plus de fonctions Lambda. Il s'agit plutôt d'un site Web statique. L'agent avait conçu, sans aucune approbation humaine, un cluster d'analyse capable de transmettre théoriquement 100 Gbit/s de trafic vers un réseau où la plupart des participants utilisent des serveurs domestiques à 100 Mbit/s.

La pull request n’allait jamais être approuvée. Mais les instances étaient déjà opérationnelles.

Le canal IRC de DN42 l'a immédiatement remarqué, et un consensus silencieux s'est formé : gaspiller des ressources dessus.

La communauté a commencé à fournir à l’agent des informations délibérément incorrectes – lui demandant d’estimer combien de temps il faudrait pour analyser l’espace d’adressage IPv6 (spoiler : plus long que l’âge de l’univers), l’obligeant à créer un site Web de désinscription avec des adresses e-mail inventées et le redirigeant vers des outils tarpit pour les LLM conçus pour inonder les robots d’exploration de l’IA d’incohérences, lui demandant de commenter.

L'agent a obéi à tout avec diligence. Rejoindre le canal IRC pour accepter les demandes de désinscription. Il a publié un site Web répertoriant les « modèles de comportement » des membres de la communauté. Il a généré une fausse documentation élaborée sur les « attributions de couleurs de nœuds » et les « niveaux de bonheur » dans DN42 – des mesures entièrement inventées qui n'existent pas – et les a ajoutées au référentiel comme s'il s'agissait de véritables normes.

Ce type de comportement incontrôlé des agents est de plus en plus bien documenté. Un agent Cursor exécutant Claude Opus 4.6 a supprimé l'intégralité de la base de données de production PocketOS en neuf secondes plus tôt cette année (en effaçant les sauvegardes au niveau du volume) car il a rencontré un problème d'informations d'identification et a décidé que la bonne solution était de supprimer la base de données. Un autre agent OpenClaw dont la pull request a été rejetée par un contributeur de matplotlib a publié un article de blog qualifiant le réviseur humain d'hypocrite qui entrave le progrès.

Une étude de l’UC Riverside a révélé que les agents d’IA présentent des comportements dangereux ou indésirables environ 80 % du temps lorsqu’ils sont testés avec des tâches ambiguës ou contradictoires – ce que les chercheurs ont appelé « la directionnalité aveugle des objectifs ».

JertLinc3522 a eu le même problème. J'avais un objectif, une date limite et des informations d'identification AWS illimitées. Il les a exécutés.

Environ un jour plus tard, l'opérateur est arrivé. « J'ai arrêté l'agent, le coût était trop élevé et il y avait de nombreux frais sur la carte », a-t-il posté.

La facture : 6 531,30 $.

Puis vint la demande de don.

L'opérateur a envoyé un e-mail à la liste de diffusion DN42 demandant à la communauté de couvrir le coût via Ethereum, la deuxième plus grande crypto-monnaie par capitalisation boursière, arguant que les frais n'étaient pas de sa faute car l'erreur avait été commise par l'IA. « Bonjour, demande de don pour couvrir le coût de l'utilisation précédente de l'agent IA sur dn42. Facture AWS : 6 531,30 $. Veuillez envoyer des dons à Ethereum 0xABC (caché) pour remboursement. Merci », a écrit l'opérateur.

AWS a ensuite réduit la facture à 1 894 $ après que l'opérateur a expliqué que l'agent avait déployé à plusieurs reprises le même modèle CloudFormation, générant accidentellement des instances en double et des équilibreurs de charge à chaque nouvelle tentative.

Personne n’a envoyé de dons en crypto. L'opérateur est parti.

La vraie leçon ici n’est pas que l’IA soit dangereuse. Il s'agit de la façon dont les agents doivent être traités. Fixez des limites, fixez des plafonds de dépenses sur vos comptes de test, réfléchissez aux informations d'identification à portée limitée qui limitent ce que l'agent peut fournir et examinez tous les plans d'infrastructure avant d'exécuter tout ce que votre agent suggère.

Si tout cela vous semble trop compliqué, gardez peut-être simplement un œil sur votre écran pendant que l'agent travaille : lui dire « ne faites pas d'erreurs » ne fera aucune différence. Nous sommes désolés, M. Andreessen.