Erreurs trouvées dans le benchmark OpenAI AI pour tester les blockchains

La société de cybersécurité OpenZeppelin a audité le nouveau benchmark d'IA d'OpenAI, EVMbench. Les experts ont identifié des erreurs méthodologiques et une contamination des données.

https://t.co/yW00RmRBZQ

– OuvrirZeppelin (@OpenZeppelin) 2 mars 2026

Le développeur ChatGPT a lancé EVMbench mi-février en partenariat avec le fonds d'investissement Paradigm pour évaluer la capacité des agents d'IA à trouver, corriger et exploiter les vulnérabilités des contrats intelligents.

OpenZeppelin a salué l'initiative, mais a décidé de tester le développement par rapport aux mêmes normes que les protocoles qu'il protège (dont Aave, Lido et Uniswap).

Inconvénients clés

Le principal problème est lié à la « contamination » des données d’entraînement. EVMbench s'appuie sur une sélection de 120 vulnérabilités identifiées lors d'audits en 2024-2025.

Cependant, les principaux modèles testés ont une durée de connaissance allant jusqu'en août 2025. Les modèles pourraient « mémoriser » des informations sur ces vulnérabilités à partir des données d'entraînement. Même avec Internet désactivé, cela remet en question la pureté de l'expérience : on ne sait pas si l'IA est capable d'identifier de véritables nouvelles menaces.

OpenZeppelin a également souligné des erreurs factuelles dans l'ensemble de données EVMbench. Au moins quatre vulnérabilités de la catégorie « risque élevé » se sont révélées inexploitables. Dans le même temps, les agents IA ont reçu les points corrects pour avoir soi-disant correctement détecté ces problèmes.

« Il ne s'agit pas de désaccords subjectifs sur la gravité ; ce sont des cas où l'attaque décrite ne fonctionne tout simplement pas », soulignent les experts.

Les experts ont confirmé que l’intelligence artificielle jouera un rôle clé dans l’avenir de la sécurité de la blockchain. Ils ont toutefois averti que la précipitation vers la mise en œuvre ne devrait pas se faire au détriment de la qualité des données et des tests.

« La question n'est pas de savoir si l'IA va changer la sécurité des contrats intelligents – elle la changera. La question est de savoir si les références et les données sur lesquelles nous construisons ces outils répondront aux mêmes normes que les contrats qu'ils sont conçus pour protéger », a conclu OpenZeppelin.

Rappelons qu'en novembre, les experts de Microsoft ont présenté un environnement pour tester les agents d'IA et identifié les vulnérabilités inhérentes aux assistants numériques modernes.