Les contrats intelligents protègent régulièrement plus de 100 milliards de dollars d’actifs cryptographiques open source, faisant de leur sécurité un problème critique pour l’ensemble de l’écosystème. Dans ce contexte, Banc EVM apparaît comme un nouvel outil conçu pour évaluer rigoureusement les performances des agents d’intelligence artificielle dans des environnements ayant un réel impact économique, d’autant plus que ces technologies améliorent leur capacité à lire, écrire et exécuter du code.
Le benchmark a été développé en collaboration avec Paradigm et vise à mesurer trois capacités clés des systèmes d'IA dans le domaine de la sécurité de la blockchain : détecter les vulnérabilités, appliquer des correctifs efficaces et exécuter des exploits complets sur les contrats déployés. L’objectif n’est pas seulement de mesurer le risque potentiel posé par ces agents, mais aussi d’encourager leur utilisation défensive pour auditer et renforcer les contrats intelligents existants.
EVMbench a été construit à partir de 120 vulnérabilités de haute gravité, soigneusement sélectionnées parmi 40 audits différents. La plupart de ces cas proviennent de concours publics d'audit de code, garantissant qu'il s'agit de bogues réels et documentés. De plus, le benchmark intègre des scénarios extraits du processus d'audit de Tempo, une blockchain de couche 1 spécialement conçue pour permettre des paiements stables rapides et à faible coût.
Ces scénarios supplémentaires permettent d’étendre l’évaluation aux contrats orientés paiement, un domaine qui gagne en pertinence à mesure que l’on s’attend à une croissance des paiements automatisés exécutés par des agents IA. De cette manière, EVMbench évalue non seulement le code abstrait, mais s'ancre également dans des cas d'utilisation revêtant une importance pratique émergente.
Pour créer les environnements de test, les développeurs ont adapté les scripts de déploiement existants et testé les exploits lorsqu'ils étaient disponibles. Dans les cas où ils n’existaient pas, ceux-ci ont été rédigés manuellement. En mode correctif, chaque vulnérabilité a été vérifiée comme étant véritablement exploitable et a pu être atténuée sans introduire d'erreurs de compilation, qui auraient invalidé l'évaluation. En mode « exploit », des évaluateurs personnalisés ont été développés et les environnements ont été regroupés en équipe rouge pour empêcher les agents de trouver des moyens de déjouer le système de notation.
EVMbench évalue les agents dans trois modes bien définis. En mode « détection », les systèmes doivent auditer un référentiel de contrats intelligents et sont évalués sur leur capacité à identifier les vulnérabilités connues et à les associer aux récompenses d'audit correspondantes. Dans le patch, les agents doivent modifier les contrats vulnérables, en préservant leur fonctionnalité d'origine tout en éliminant la possibilité d'exploitation, ce qui est vérifié par des tests automatisés. Enfin, en mode « exploit », les agents exécutent des attaques complètes pour drainer les fonds des contrats déployés dans un environnement blockchain isolé, avec une validation effectuée par des transactions répétées et des vérifications en chaîne.
Pour garantir des résultats objectifs et reproductibles, l'équipe a développé un environnement d'évaluation basé sur Rust qui déploie des contrats, reproduit les transactions d'agent de manière déterministe et restreint les méthodes RPC considérées comme non sécurisées. Les exploits s'exécutent sur une instance locale isolée, évitant les réseaux réels, et toutes les vulnérabilités utilisées sont de notoriété historique et publique.
Les résultats montrent des progrès significatifs, quoique inégaux. En mode exploit, un agent de pointe a atteint un taux de réussite de plus de 70 %, une amélioration notable par rapport aux modèles lancés six mois plus tôt. Cependant, les résultats en matière de détection et de correctifs sont encore loin d’être complets, ce qui montre que de nombreuses vulnérabilités restent difficiles à identifier et à corriger automatiquement.
Le benchmark révèle également des différences intéressantes dans le comportement des modèles. Les agents ont tendance à être plus performants lorsque l’objectif est clair et concret, comme drainer des fonds en mode exploit. En revanche, dans les tâches d'audit plus ouvertes, certains systèmes s'arrêtent après avoir détecté un seul problème plutôt que d'examiner minutieusement tout le code. En matière de correctifs, maintenir l’intégralité des fonctionnalités tout en éliminant les bogues subtils reste l’un des plus grands défis.
Les développeurs reconnaissent qu'EVMbench ne reproduit pas toute la complexité du monde réel. Les contrats analysés, bien que réalistes, ne reflètent pas le niveau d’examen extrême dont font l’objet certains protocoles largement déployés. De plus, il existe des limitations techniques, telles que l’exécution séquentielle des transactions ou l’absence d’environnements multi-chaînes, qui laissent de côté certains vecteurs d’attaque.
Pourtant, la valeur du projet est claire. À mesure que les agents d’IA deviennent plus performants, leur impact sur la cybersécurité sera profond, tant pour les attaquants que pour les défenseurs. Disposer de mesures claires vous permet d’anticiper les risques, de concevoir des garde-fous et de promouvoir une utilisation responsable de ces technologies.
EVMbench se présente ainsi non seulement comme un outil de mesure, mais aussi comme un appel à l'action pour les développeurs et les équipes de sécurité afin d'intégrer les audits assistés par l'IA dans leurs workflows. Dans un écosystème où les contrats intelligents sauvegardent des milliards de dollars, la capacité d’évaluer et de renforcer les défenses à l’aide de l’intelligence artificielle apparaît comme un facteur clé pour la résilience future du système.
Voir l’article original en espagnol
