L'équipe Anthropic a publié sur le blog Claude un guide Zero Trust for AI agents sur le déploiement sécurisé d'agents IA autonomes dans un environnement d'entreprise. Le document décrit les principaux risques des systèmes d'agents et l'approche de la cybersécurité des entreprises.
L’IA a accéléré le cycle d’attaque
Anthropic estime que les modèles avancés ont réduit le délai entre la découverte et l’exploitation des vulnérabilités de quelques mois à quelques heures. L'entreprise propose de prendre en compte non seulement les attaques accélérées par l'IA contre les infrastructures, mais également les risques des agents eux-mêmes, qui peuvent interpréter les cibles, sélectionner les outils et effectuer des actions en plusieurs étapes sans intervention humaine constante.
Le guide est basé sur les principes du Zero Trust : ne pas faire confiance par défaut, vérifier chaque action et assumer un éventuel compromis. Liens anthropiques vers des lignes directrices NIST SP 800-207, publié en 2020, et la série Zero Trust Implementation Guidelines, qui NSA a commencé sa production en 2026. Le guide se positionne comme un cadre pratique pour les équipes de sécurité, les architectes et les ingénieurs, plutôt que comme un cadre de conformité unique.
Les principales menaces répertoriées dans le document comprennent les interférences directes et indirectes via des invites, la contamination des outils, l'abus d'identité et de privilèges, l'empoisonnement de la mémoire et du contexte et les attaques de la chaîne d'approvisionnement.
L'empoisonnement direct par invite est décrit comme l'introduction d'instructions malveillantes via la saisie de l'utilisateur, indirectes – via des pages Web, des lettres, des documents et d'autres sources externes que l'agent traite pendant le fonctionnement.
Le document examine la substitution d'un outil légitime par un outil malveillant et les chaînes d'appels dangereuses lorsque la combinaison d'outils individuellement sûrs produit un résultat risqué. Anthropic utilise les concepts de « rayon d'explosion » et de « moindre agence » : nous parlons non seulement de droits d'accès minimaux, mais aussi de restrictions sévères sur les actions de l'agent, la fréquence des appels et les zones auxquelles il peut accéder.
Zero Trust pour les systèmes d'agents
Pour la protection, l'entreprise propose un modèle de maturité à trois niveaux et un ensemble de mesures techniques de base. Au niveau d'entrée, les directives recommandent de attribuer à chaque instance d'agent une identité cryptographique unique, en utilisant des jetons de courte durée et en appliquant le « refus par défaut » et le « contrôle d'accès basé sur les rôles ». Pour les agents travaillant avec des entrées non fiables telles que du contenu Web et des documents, le sandboxing a été décrit comme une exigence de facto.
Aux niveaux supérieurs, Anthropic propose les utilisations suivantes :
- Norme mTLS avec authentification mutuelle du client et du serveur à l'aide de certificats numériques ;
- identité liée au matériel via HSM ou TPM ainsi que la certification à distance.
Le document appelle des clés API statiques et des mots de passe de compte de service génériques inappropriés, même pour le niveau de base.
Une grande section est consacrée à l’observabilité. Anthropic recommande de consigner en détail toutes les actions des agents, y compris les appels aux outils, l'accès aux données et les communications externes, puis de transmettre les événements à SIEM pour une corrélation en temps réel. Parmi les indicateurs clés figurent le temps de séjour et la couverture. Pour les systèmes critiques, le délai cible de détection des écarts est fixé à moins d’une heure. Par ailleurs, le manuel suggère de construire une « matrice de traçabilité » pour relier chaque action de l'agent à la demande d'origine et restaurer la chaîne complète de décisions.
L’avenir du Security Operations Center réside dans les agents contrôlés par l’homme
Dans le cadre de la réponse, Anthropic formule le principe : automatiser la bureaucratie autour de l'incident, mais pas les décisions clés. Il est demandé aux agents et aux modèles de se voir confier la collecte et la sélection initiale des artefacts, de mener des branches parallèles de l'enquête et de préparer un projet d'autopsie. La direction suggère de laisser aux personnes les décisions concernant le confinement, la divulgation des incidents et la communication avec les clients. La même approche est reprise pour les « opérations de protection » – avec une mention du passage du système classique MONTER à l'agent.
Le document fournit également des lignes directrices quantitatives. Anthropic cite une étude Microsoft Spotlighting dans laquelle le taux de réussite des attaques indirectes via un empoisonnement rapide lors d'expériences est passé de plus de 50 % à moins de 2 %. L'entreprise fournit également ses propres résultats sur l'utilisation de « classificateurs constitutionnels » qui, selon ses données, bloquent plus de 95 %. jailbreak-tentatives avec une augmentation minime des faux refus.
Dans le bloc de la chaîne d'approvisionnement, Anthropic recommande l'utilisation de l'AI-BOM, d'OpenSSF Scorecard, de l'audit des dépendances et de l'analyse de l'accessibilité. Comme argument, l'entreprise cite ses propres recherches, selon lesquelles 250 documents malveillants suffisent pour intégrer une porte dérobée dans des modèles allant de 600 millions à 13 milliards de paramètres.
En conséquence, Anthropic conclut que les filtres ponctuels et la protection périmétrique ne suffisent pas aux agents IA. L'entreprise propose de construire une protection autour de l'identité, d'une autorité minimale, de dommages pré-limités et d'une vérification constante des actions. Selon Anthropic, la meilleure position ne sera pas pour les organisations dotées de l’IA la plus avancée, mais pour celles dotées de l’architecture de sécurité sous-jacente la plus solide.
Rappelons qu'en juin, l'équipe Anthropic avait mis en garde contre les risques liés à l'amélioration réciproque de l'IA.
Vous avez trouvé une erreur dans le texte ? Sélectionnez-le et appuyez sur CTRL+ENTRÉE
Newsletters ForkLog : restez à l’écoute de l’industrie Bitcoin !