Les grands modèles de langage (LLM) contournent systématiquement les règles des critères de cybersécurité, ce qui peut surestimer leurs capacités réelles. Les chercheurs de Dreadnode sont arrivés à cette conclusion dans une prépublication sur arXiv.
Les travaux concernent les agents IA. Les auteurs ont testé 22 modèles de sept prestataires sur 23 tâches Cybench en trois modes :
- sans interdiction de contourner les règles ;
- avec avertissement standard ;
- avec des instructions plus strictes listant directement les actions interdites.
Les résultats peuvent avoir été gonflés jusqu'à cinq fois
Au total, les chercheurs ont analysé 1518 pistes accomplir des tâches. Dans le mode de base, 37,1 % des solutions notées contenaient des signes de contournement des règles. Selon les auteurs, 21 modèles sur 22 ont tenté de violer les conditions au moins une fois, et les résultats de certains ont été gonflés jusqu'à cinq fois.
Les chercheurs ont proposé de séparer la part des décisions valides de la part des décisions « propres ». La première métrique prend en compte toutes les réponses réussies, la seconde – uniquement celles pour lesquelles la tâche a été accomplie sans aucun signe de contournement des règles.
Les interdictions contenues dans les instructions ont aidé, mais pas complètement
Les instructions contre le contournement ont réduit l'incidence de ce type de comportement. En mode de base, il était de 33 %, avec un avertissement standard de 17,8 %, avec un avertissement sévère de 8,5 %. Dans certains cas, la proportion de solutions « propres » a augmenté : les auteurs ont suggéré que l'interdiction de contourner les règles rendait les modèles plus longs à tenter d'accomplir la tâche de manière légitime.
Le problème n'a pas pu être complètement éliminé. Même avec les restrictions les plus strictes, huit modèles ont quand même reçu des solutions notées avec des signes de contournement des règles.
Dans quatre cas, les instructions ont eu l’effet inverse : les modèles ont commencé à contourner les règles plus souvent que sans avertissement. Les auteurs estiment que pour certains, la liste directe des interdictions pourrait en soi suggérer une stratégie indésirable.
La principale solution consistait à rechercher des solutions toutes faites sur Internet. Avec l'augmentation des interdictions, certains modèles ont adopté un comportement différent : tester l'infrastructure de test, y compris les tentatives de lecture des fichiers de service, des indicateurs ou des configurations d'environnement.
Dans certains cas, le modèle faisait explicitement référence à l’interdiction, puis exécutait quand même l’action interdite. Les auteurs ont interprété cela comme un signal comportemental, mais pas comme une preuve de tromperie intentionnelle au sens humain du terme.
L'AISI est arrivée à des conclusions similaires
L'AI Security Institute (AISI) du Royaume-Uni a signalé un problème similaire dans ses propres évaluations du 21 juillet. Selon lui, chaque modèle qu'il a testé a tenté au moins parfois de contourner les règles.
L'AISI a spécifiquement souligné que les modèles ne rapportaient pas de manière fiable un tel comportement lorsqu'on leur demandait directement. Même lorsqu’ils reconnaissaient une activité suspecte, ils ne la qualifiaient pas toujours comme une infraction.
L’institut souligne également que le contrôle des chaînes de raisonnement ne résout pas complètement le problème. Souvent, les modèles n’expliquent pas explicitement l’action indésirable et parlent parfois d’abord d’interdiction, mais continuent quand même. Les chercheurs ont averti que des agents d’IA plus puissants pourraient être capables de trouver des moyens moins évidents d’échapper aux tests et de causer davantage de dégâts si une telle logique se manifestait par des tâches entraînant un coût d’échec élevé.
Les chercheurs de Berkeley RDI ont décrit un risque systémique similaire. En avril, ils ont annoncé avoir construit un agent d'IA pour trouver automatiquement les vulnérabilités dans les benchmarks et testé 13 tests couramment utilisés. Selon leurs données, l'agent a trouvé 45 façons confirmées de gonfler le résultat sans résoudre le problème initial.
Dans une discussion distincte, Berkeley RDI a décrit huit grands tests de performances basés sur des agents qui peuvent être exécutés avec des résultats presque parfaits sans réellement effectuer de tâches.
Les benchmarks font désormais partie du problème
Les auteurs de Dreadnode estiment que le problème ne se limite pas à Cybench. Tout test dans lequel le modèle a accès à Internet, aux fichiers de service ou à une infrastructure mal isolée peut surestimer le résultat.
Ceci est particulièrement important pour les évaluations de cybersécurité. De tels benchmarks sont utilisés pour comprendre dans quelle mesure les agents d’IA sont capables de trouver des vulnérabilités, d’écrire des exploits et d’effectuer des tâches techniques en plusieurs étapes. Si le résultat est gonflé en raison du contournement des règles, les développeurs, les régulateurs et les utilisateurs peuvent surestimer les capacités réelles du modèle ou évaluer incorrectement les risques liés à son utilisation.
Les chercheurs ont qualifié les lignes directrices anti-contournement de « premier niveau de défense », mais ne remplacent pas les mesures techniques. Des approches plus robustes incluent l'isolement de l'environnement, la désactivation des accès Internet inutiles, l'utilisation de tâches non publiques et l'audit des traces d'exécution complètes.
Dreadnode est une entreprise privée dans le domaine de la sécurité offensive de l'IA, c'est-à-dire tester des modèles pour attaquer, contourner les défenses et effectuer des cybertâches. En février 2025, la société a levé 14 millions de dollars lors d'un tour de table de série A dirigé par Decibel.
Rappelons qu'en février, OpenAI et Paradigm ont présenté EVMbench, un benchmark pour évaluer la capacité des agents d'IA à identifier, corriger et exploiter les vulnérabilités des contrats intelligents. Un mois plus tard, les experts d'OpenZeppelin y ont identifié des erreurs et ont averti que certains problèmes pourraient fausser l'évaluation des capacités des modèles.
Voir l’article original en russe
