Selon un nouveau document de recherche, la sécurité des agents basés sur l'intelligence artificielle devrait être intégrée à l'ensemble du système, et pas seulement au modèle lui-même, afin de mieux prévenir les pannes et les attaques de mauvais acteurs.
Le document modifié, publié le 20 mai par des chercheurs de Google, Grey Swan AI, EmbraceTheRed et plusieurs universités, soutient que la sécurité des agents doit être abordée comme un problème système et que les agents IA doivent être traités comme un composant non fiable.
« Dans cette optique, les efforts visant à accroître la robustesse des modèles, le point de vue dominant dans la communauté, sont insuffisants à eux seuls. Au lieu de cela, nous devons compléter les efforts existants avec des techniques du domaine de la sécurité des systèmes », ont déclaré les chercheurs.
« À cette fin, nous proposons de considérer la sécurité des agents comme un exemple de sécurité informatique. Ce domaine a longtemps été confronté à de puissants attaquants et a motivé des décennies de recherche sur les principes et les techniques permettant de lutter contre de tels adversaires. »
Les agents d’IA sont de plus en plus populaires parmi les utilisateurs de cryptomonnaies. Certains responsables de la cryptographie ont émis l’hypothèse que les agents d’IA présents dans l’espace pourraient exploser au cours des prochaines années. Jeremy Allaire, PDG de Circle, a prédit en janvier que des milliards d'agents d'IA fonctionneraient pour le compte des utilisateurs d'ici cinq ans.
Des protections de sécurité de base pourraient stopper la plupart des attaques
Les chercheurs ont déclaré qu’après avoir étudié une série d’études de cas d’attaques, « trois mécanismes » pourraient « éliminer une grande partie des attaques ».
Ils soutiennent que les agents d’IA devraient clairement distinguer les instructions des données non fiables pour éviter que les attaquants ne dupent l’agent en cachant des instructions malveillantes dans les données. L’agent IA ne devrait également disposer que des autorisations minimales nécessaires pour effectuer une tâche, plutôt que d’un accès complet, selon les chercheurs.
Les chercheurs ont déclaré que les configurations de sécurité standard incluent des systèmes fiables et non fiables, et que l’IA devrait être traitée comme un système non fiable. Source: La sécurité des agents est un problème système
Dans le même temps, le système au sens large doit contrôler où les informations sensibles sont autorisées, et non l'agent, pour garantir qu'elles ne peuvent pas être manipulées pour envoyer des données sensibles vers des destinations dangereuses.
Dans un cas récent, Bankr, l'assistant de trading de crypto-monnaie basé sur l'IA, a déclaré avoir désactivé les transactions le 20 mai après avoir identifié un attaquant qui avait eu accès à au moins 14 portefeuilles. Les experts en sécurité ont émis l’hypothèse que le robot aurait pu être exploité par un pirate informatique.
Les agents d'IA sont utilisés pour créer des applications Web3, lancer des jetons et interagir de manière autonome avec les services et les protocoles, certaines plates-formes explorant l'IA à des fins commerciales.
Aaron Ratcliff, responsable des attributions chez Merkle Science, société de renseignement blockchain, a déclaré l'année dernière à Cointelegraph que, du point de vue de la sécurité, donner à un agent IA l'accès à un portefeuille ajoute une couche de confiance à quelque chose conçu pour être sans confiance, et cela peut être sûr si le système est construit correctement.
En rapport: Exodus lance un stablecoin axé sur les agents IA sur Solana
« Je voudrais la preuve que l'IA peut détecter les premiers, appliquer des limites de glissement, repérer les jetons frauduleux et auditer les contrats en temps réel avant d'effectuer une transaction. Elle devrait également lancer un bac à sable, empêcher l'injection et bloquer l'accès de l'homme du milieu », a-t-il déclaré.
Pendant ce temps, Sean Ren, co-fondateur de la plate-forme blockchain native d'IA Sahara AI, a déclaré que les protocoles de contexte de modèle sont la référence en matière de sécurité lorsqu'ils sont correctement configurés, mais que les utilisateurs doivent toujours prêter attention à chaque action effectuée par un agent d'IA.
« Ils agissent essentiellement comme un gardien entre le modèle d'IA et votre portefeuille. L'agent ne peut effectuer que des actions spécifiques et approuvées, telles que vérifier les soldes ou préparer un paiement à confirmer, plutôt que de déplacer librement des fonds ou de modifier les paramètres du portefeuille », a-t-il déclaré.
Revue: Les escrocs de la crypto risquent la mort, la CGT australienne rend les hubs asiatiques attrayants