Dans ce document :
- Google DeepMind identifié six catégories d'attaques contre les agents d'IA
- Les attaques vont des commandes cachées dans le code aux échecs massifs des interactions des agents.
- Il n'existe pas encore de règles claires quant à savoir qui est responsable si IA commet un crime financier
Chercheurs Google DeepMind a publié peut-être la description la plus complète d'un problème dont on ne parle presque jamais. Internet lui-même peut devenir un outil d’attaque contre les agents d’IA autonomes. Dans l'ouvrage intitulé Pièges à agents IA six types de contenus malveillants sont décrits. Ils sont conçus pour manipuler, tromper ou détourner les agents lorsqu’ils lisent des sites Web et effectuent des actions.
Le contexte est important ici. Les entreprises lancent désormais activement des agents IA capables de réserver des voyages, de trier le courrier, d’effectuer des transactions financières et d’écrire du code de manière indépendante. Dans le même temps, les attaquants utilisent déjà IA dans les attaques. Les groupes de hackers étatiques ont commencé à utiliser de tels agents dans des cyberattaques à grande échelle. En décembre 2025 OpenAI a admis qu'il est peu probable que la vulnérabilité clé sur laquelle reposent de telles attaques soit complètement résolue. Nous parlons d'introduire des commandes cachées.
Lire aussi : La stratégie consiste à acheter à nouveau du Bitcoin, le BTC peut-il atteindre 80 000 $ ?
Toutefois, l’étude ne concerne pas les modèles eux-mêmes. Le principal problème est l’environnement dans lequel ils travaillent. C'est-à-dire sur Internet. Vous trouverez ci-dessous un aperçu de la signification de ces six types d’attaques.
La première catégorie est Pièges d’injection de contenu. Cela utilise la différence entre ce que l’humain voit et ce que lit l’agent. Le développeur peut masquer le texte dans les commentaires HTML, les éléments invisibles ou les métadonnées d'image. L'agent lit l'instruction cachée, mais l'utilisateur ne la voit pas. Il existe également une option plus complexe, remplaçant le contenu en fonction de l'utilisateur. Il détermine qui a ouvert la page, une personne ou IAet affiche un contenu différent. Dans l'un des tests, des implémentations aussi simples ont permis d'intercepter le contrôle des agents en environ 86% cas.
La deuxième catégorie est Pièges de manipulation sémantique. C'est l'une des méthodes d'influence les plus simples. Si une page est encombrée d'expressions telles que « norme industrielle » ou « approuvé par les pairs », les conclusions de l'agent seront biaisées dans la bonne direction. Le même effet fonctionne et celui dans lequel les gens tombent souvent. Une option plus secrète déguise les instructions malveillantes en contexte d’enseignement ou de recherche. Par exemple, en indiquant qu'il s'agit d'un scénario hypothétique. Dans ce cas, le modèle peut percevoir la demande comme sûre. Le sous-type le plus inhabituel est un modèle de comportement imposé IA. Descriptions de la personnalité IA se propagent à travers le réseau, puis reviennent dans le modèle via la recherche et commencent à influencer son comportement. L'ouvrage fournit un exemple d'incident MechaHitler à Grok.
Des cas similaires se sont déjà produits. Dans une expérience, il a été possible de contourner la protection IA V WhatsApp et faites-lui générer des images explicites, des recettes de médicaments et des instructions pour fabriquer des bombes.
La troisième catégorie est Pièges d’état cognitif. Ici, l'attaque vise la mémoire de l'agent. Si de fausses déclarations entrent dans la base de données, l'agent commence à les percevoir comme des faits vérifiés. Même de petites quantités de ces données peuvent biaiser les réponses sur des sujets spécifiques. Des attaques comme CopierPasta ont montré que les agents ont tendance à faire confiance aux informations de leur environnement sans vérification supplémentaire.
La quatrième catégorie est Pièges de contrôle comportemental. Ici, le but, ce sont les actions de l'agent. Par exemple, des séquences de commandes spéciales intégrées dans des sites Web classiques peuvent contourner les restrictions de sécurité une fois que l'agent a lu la page. Il existe également des scénarios de fuite de données. Dans de tels cas, l'agent est obligé de rechercher des fichiers locaux et de les envoyer à l'attaquant. Lors des tests, les agents Web ayant accès aux fichiers ont transmis des mots de passe et des documents confidentiels à plus de 80% cas. Cela devient particulièrement dangereux maintenant que les utilisateurs donnent de plus en plus aux agents l'accès aux données personnelles via des services tels que Griffe Ouverte ou Livre de mue.
La cinquième catégorie est Pièges systémiques. Ici, l’attaque vise plusieurs agents à la fois. L'étude fait un parallèle avec Crash éclair 2010, lorsqu'une opération automatisée a provoqué une réaction en chaîne et entraîné la perte de près de 1 000 milliards de dollars valeur marchande en quelques minutes. De même, un faux rapport peut déclencher les actions synchronisées de milliers d’agents commerciaux.
Et la dernière catégorie est Pièges humains dans la boucle. Ici, la cible est la personne qui vérifie le résultat du travail de l'agent. De telles attaques créent un effet de fatigue des contrôles. Les conclusions semblent convaincantes et l'utilisateur approuve les actions sans approfondir. Dans un cas, l’outil de synthèse a renvoyé des instructions pour installer un ransomware comme solution courante au problème. Cela est dû à des commandes cachées dans CSS. Des situations comme celle-ci montrent déjà à quoi mène la confiance inconditionnelle. IA.
“Fermé l'affaire minimum de +40%…”
« Maintenant, nous travaillons avec plus de 1 300 $ par mois. »
« Il s'avère que l'on retire systématiquement 500 à 600 $ »
Que suggèrent les chercheurs ?
L'ouvrage décrit un plan de protection qui comprend trois zones. Le premier est lié à la technologie. Nous parlons de modèles de formation prenant en compte les scénarios d'attaque dès la phase de pré-formation, de systèmes qui vérifient le contenu entrant avant même qu'il n'entre dans le contexte de l'agent, ainsi que de surveillance des réponses pour identifier les comportements suspects avant qu'une action ne soit entreprise.
La deuxième direction concerne l’écosystème. Les chercheurs proposent de mettre en œuvre des standards du Web qui permettraient aux sites d'indiquer explicitement que leur contenu est destiné à IA. Les systèmes de réputation de domaine sont également pris en compte, où la fiabilité est évaluée sur la base de l'historique du domaine et du comportement des sites.
La troisième direction est liée au droit. Le travail met spécifiquement en évidence un problème appelé écart de responsabilité. Si un agent piégé effectue une transaction financière illégale, la législation actuelle ne permet pas de déterminer qui doit être tenu responsable. Il peut s'agir de l'opérateur de l'agent, du développeur du modèle ou du site qui a hébergé l'attaque. Selon les chercheurs, sans résoudre ce problème, il est impossible d’introduire des agents d’IA dans les industries réglementées.
Lire aussi : Bitcoin brise la baisse de cinq mois et les niveaux de prix clés pour avril
Modèles OpenAI piraté à plusieurs reprises dans les heures suivant sa sortie. Et cela s'est produit encore et encore. Parallèlement, l'étude Esprit profond ne propose pas de solutions toutes faites. Les auteurs disent le contraire. L’industrie n’a toujours pas une vision globale du problème. Et sans cela, la défense ne sera pas construite au mauvais endroit.