En résumé
- Des chercheurs de l’Université de Tel Aviv et du Technion ont démontré que les hallucinations de l’IA peuvent être utilisées pour infiltrer des logiciels malveillants dans les ordinateurs.
- La technique « HalluSquatting » prédit les faux liens générés par les modèles, les enregistre et injecte des instructions malveillantes que les agents exécutent.
- Les tests avec Cursor, GitHub Copilot et Gemini CLI ont montré des taux d'hallucinations allant jusqu'à 85 % lors du clonage et 100 % lors de l'installation des compétences.
Les hallucinations de l’IA pourraient être plus que de simples réponses incorrectes : elles pourraient devenir un moyen permettant aux pirates informatiques de compromettre les ordinateurs, selon une nouvelle étude de l’Université de Tel Aviv, du Technion et d’Intuit.
Dans l'article « Méfiez-vous des botnets agentiques : attaques de promptware non ciblées et évolutives via HalluSquatting contradictoire universel et transférable », les chercheurs ont démontré une technique qui exploite les modèles d'IA lorsqu'ils génèrent de faux liens vers des référentiels de logiciels et d'autres ressources en ligne.
« L'adoption croissante d'applications LLM agents a introduit une nouvelle menace appelée promptware », ont écrit les chercheurs. « Alors que des travaux antérieurs ont établi que les adversaires peuvent exploiter les canaux directs vers les applications LLM pour fournir des promptwares dans des modèles de menace faibles, de nombreuses applications n'offrent pas de canaux directs pouvant être exploités pour une injection rapide au-delà d'Internet. »
L'attaque, connue sous le nom d'hallucination contradictoire ou « HalluSquatting », consiste à prédire quelles fausses ressources les modèles d'IA sont susceptibles de générer, à enregistrer ces noms et à incorporer des instructions malveillantes. Si un agent IA récupère ultérieurement la ressource hallucinée, il pourrait considérer le contenu contrôlé par l’attaquant comme légitime.
Les chercheurs ont noté que la menace surgit à mesure que les assistants IA vont au-delà de la réponse aux questions et acquièrent la capacité d’interagir avec les ordinateurs : accéder à des fichiers, effectuer des recherches sur le Web, écrire du code et exécuter des commandes.
Ces capacités peuvent conduire à des failles de sécurité lorsque les agents agissent sur les informations qu'ils récupèrent sans vérifier si la source est réelle.
« Des études en cours ont démontré plusieurs variantes d'attaques Promptware contre des systèmes réels, notamment ChatGPT, Google Assistant, Copilot et d'autres applications », ont-ils ajouté. « Ces travaux ont démontré que Promptware peut avoir des impacts financiers, sur la confidentialité et sur la sécurité. »
Les chercheurs ont averti que cette technique pourrait permettre aux attaquants de créer des réseaux de zombies basés sur l’IA. Un botnet est un réseau d'ordinateurs ou d'appareils infectés contrôlés à distance par un attaquant. Les botnets sont couramment utilisés dans les cyberattaques, notamment les attaques par déni de service, l’extraction de cryptomonnaies, la distribution de logiciels malveillants et les campagnes de rançongiciels.
Lors des tests, les chercheurs ont découvert que les hallucinations de ressources générées par l'IA se produisaient à des taux allant jusqu'à 85 % dans les scénarios de clonage de référentiel et 100 % dans les tests d'installation de compétences.
L'équipe a évalué la technique par rapport aux assistants et agents de codage d'IA, notamment Cursor, GitHub Copilot, Gemini CLI et OpenClaw.
HalluSquatting est similaire au typosquatting, une tactique de cyberattaque dans laquelle les attaquants enregistrent des noms de domaine qui ressemblent à des sites Web ou à des logiciels légitimes pour tromper les utilisateurs. Au lieu d’exploiter les erreurs de frappe humaine, HalluSquatting cible les erreurs commises par les modèles d’IA.
La nouvelle intervient alors que les chercheurs continuent d’évaluer comment les attaquants peuvent manipuler les agents d’IA.
En avril, des chercheurs de Google ont détaillé les sites Web malveillants conçus pour détourner les agents d'IA via des attaques indirectes par injection rapide, notamment des tentatives de vol de mots de passe, de suppression de fichiers et de manipulation de paiements. Une étude distincte sur l'attaque « CopyPasta » a montré comment les invites cachées dans les fichiers du développeur pouvaient manipuler les assistants de codage de l'IA pour diffuser du code malveillant.
En juin, un utilisateur d'OpenClaw a signalé avoir été confronté à plus de 6 000 tentatives d'attaquants cherchant à tromper l'agent IA pour qu'il divulgue des informations sensibles.
Débriefing quotidien Bulletin
Commencez chaque journée avec les principales actualités du moment, ainsi que des fonctionnalités originales, un podcast, des vidéos et bien plus encore.