L’adoption de plus en plus répandue de Grands modèles de langage cela élargit considérablement la surface d’attaque des organisations. Selon les données de Référentiel de risques IA du MITqui répertorie plus de 1 700 risques associés aux LLM, le 62 % des menaces apparaissent après la sortie des modèleslorsque ceux-ci sont utilisés dans des contextes réels et interagissent avec les utilisateurs, les données externes et les processus métiers. Seulement 13 % des risques concernent cependant les phases précédant le déploiement.
Ce qui retient particulièrement l'attention, c'est la catégorie définie comme « Humain x Intentionnel x Post-déploiement », qui représente 18 % des risques catalogués et regroupe une grande partie des cyberattaques auxquelles les professionnels de la sécurité se trouvent aujourd'hui confrontés.
L'article du Cefriel relie MIT AI Risk et OWASP
De cette évidence est né l’Instant Paper « Confiance et fragilité des grands modèles de langage »fait par Andrea Guérini, Du Lin Et Federico Saccani De Céfriel. L'étude aborde la relation entre la confiance et la vulnérabilité dans les systèmes intelligence artificielle générativeproposant une lecture conjointe de deux cadres de référence : la taxonomie du MIT AI Risk Repository et le OWASP Top 10 pour les candidatures LLM 2025considéré comme l'une des normes les plus récentes pour analyser les vulnérabilités des systèmes linguistiques génératifs.
Selon Andrea Guerini, Business Development Manager de Cefriel, l'intersection entre les deux modèles permet de mettre en évidence comment Le problème central de la cybersécurité dans l’IA moderne est l’excès de confiancetant envers les personnes que envers les systèmes d’intelligence artificielle. Pour cette raison, le document identifie sept combinaisons de risques qui aident les organisations à s'orienter dans un scénario de plus en plus complexe.
Les sept combinaisons pour comprendre les menaces
L’analyse proposée par Cefriel utilise trois dimensions clés – Entité, Intention Et Timing – de classer les risques. Le but est de comprendre qui génère le problème, avec quelle intention et dans quelle phase du cycle de vie du modèle il se manifeste.
Cette approche permet de dépasser une vision limitée à la simple identification des vulnérabilités et mieux comprendre la dynamique qui conduit aux accidents. En particulier, la méthodologie aide à distinguer si la cause est imputable à un être humain, au système d'IA lui-même ou à des facteurs externes, identifiant ainsi les points où intervenir pour réduire l'exposition aux risques.
Quand l’IA devient un élément de fragilité
L'un des aspects les plus pertinents soulignés par le document concerne le changement du paradigme informatique traditionnel. L'inclusion de modèles génératifs dans les processus de l'entreprise rend le périmètre numérique moins déterministe et plus difficile à contrôlercréant de nouvelles opportunités pour les attaquants.
L’excès de confiance peut se manifester à la fois chez les utilisateurs et dans les systèmes. D’une part, les développeurs et les opérateurs peuvent attribuer des capacités aux modèles supérieures aux capacités réelles.en supposant qu'ils soient en mesure de garantir de manière indépendante la sécurité et l'exactitude. De l'autre, le système lui-même est souvent traité comme un composant fiable et déterministe, alors que sa nature statistique le rend vulnérable aux manipulations et aux comportements inattendus.
Comme le souligne Du Lin, Ingénieur Cybersécurité au Cefriel, l’un des principaux enjeux critiques des LLM est laincapacité à distinguer de manière unique entre les données et les instructions. La confusion entre saisie informationnelle et saisie directive représente une caractéristique structurelle qui différencie la sécurité des modèles linguistiques de celle des logiciels traditionnels..
Du Zero Trust à l’IA Zero-Trust
Pour répondre à ce scénario, Cefriel rappelle le principe de Confiance zérorésumée dans la devise « Ne jamais faire confiance, toujours vérifier ». Né dans le domaine de la cybersécurité traditionnelle, le modèle repose sur l'idée qu'aucun utilisateur, dispositif ou processus ne peut être considéré comme fiable a priori.
Selon Federico Saccani, ingénieur en cybersécurité au Cefriel, attribuer le rôle d'« oracles » fiables aux systèmes génératifs revient à confondre la fluidité du langage produit avec l'exactitude de l'information. Une erreur qui peut provenir à la fois de choix de conception et de biais cognitifs.
D'où la proposition-cadre IA sans confiance (ØT-AI)développé par le centre d’innovation numérique pour adapter les principes du Zero Trust au contexte de l’intelligence artificielle générative.
Voir l’article original en italien
