Microsoft apporte le Outils de sécurité Microsoft IA plus proche du travail quotidien des développeurs avec deux nouveaux projets open source : REMPART Et Clarté. Les deux sont disponibles immédiatement et visent à faire passer la sécurité des agents IA des contrôles ponctuels au flux normal de conception, de test et de publication de logiciels.
Cette décision intervient alors que les agents ne se contentent plus de générer du texte. Aujourd’hui, ils peuvent accéder aux e-mails, récupérer des données, écrire du code et effectuer des actions sur les systèmes connectés. Lorsqu’un système peut agir, le poids de la sécurité change également : les erreurs deviennent plus concrètes et plus coûteuses.
Pour cette raison, Microsoft a décidé d'ouvrir le code de deux outils aux fonctions différentes mais complémentaires. REMPART sert à tester en permanence le comportement des agents. Clarté elle intervient encore plus tôt, lorsque l'équipe a besoin de comprendre si elle construit réellement la bonne solution.
Microsoft ouvre deux outils de sécurité de l'IA aux développeurs
Microsoft a open source REMPART Et Clartéles rendant disponibles aujourd'hui sous forme de projets open source. Le message est direct : la sécurité des agents d’IA doit devenir une discipline d’ingénierie permanente et non un contrôle après coup.
La passe est importante car elle déplace le centre de gravité de la protection. Au lieu de traiter les problèmes comme des exceptions découvertes par une équipe rouge ou après un incident, ces outils tentent de transformer les erreurs, les vulnérabilités et les hypothèses de conception en artefacts réutilisables tout au long du cycle de développement.
Les deux projets se situent à des moments différents du workflow :
- REMPART introduit les tests continus des agents d'IA dans l'IC
- Clarté aide à vérifier les hypothèses sur le code avant même que le code ne soit écrit
En pratique, Microsoft essaie de couvrir à la fois « avant » et « pendant » le développement du système d’agents.
RAMPART apporte des tests de sécurité à CI
Parmi eux Outils de sécurité Microsoft IA, REMPART Microsoft c'est celui le plus orienté vers les opérations techniques. Il s'agit d'un cadre de test d'agent conçu pour tests continus des agents IAavec des scénarios bénins et contradictoires codés comme des tests répétables à effectuer en CI.
REMPART Microsoft il est construit sur le dessus PyrITLe framework ouvert de Microsoft pour automatiser l'équipe rouge des systèmes d'IA générative. La différence réside dans le point d'utilisation : PyRIT a été créé pour la découverte de boîtes noires par les chercheurs en sécurité, tandis que RAMPART est conçu pour les ingénieurs lors de la construction de systèmes.
L’idée est de rendre également familiers les contrôles de sécurité. Les équipes peuvent écrire des tests pytest réguliers qui décrivent des scénarios dérivés de leur modèle de menace, connecter le test à l'agent via un adaptateur léger, orchestrer l'interaction et obtenir un résultat clair de réussite ou d'échec. Si l'agent change, le contrôle de sécurité peut changer avec la demande d'extraction.
Injection rapide et comportement probabiliste chez les agents IA
Le framework concentre aujourd’hui sa couverture plus mature sur les attaques injection rapideen particulier ceux à invite croisée. Nous parlons de cas dans lesquels un agent récupère ou traite du contenu potentiellement contaminé à partir de documents, d'e-mails, de tickets ou d'autres sources, finissant par modifier indirectement son comportement.
REMPART il a également été conçu pour résoudre un problème typique des modèles de langage : la probabilité. Un seul test effectué une seule fois ne suffit souvent pas à représenter ce qui se passe en production. Pour cette raison, le framework prend en charge les tests statistiques, avec des politiques qui vous permettent de définir des seuils de sécurité minimaux sur plusieurs exécutions.
Ce point est pertinent pour ces agents de développement. Là sécurité et fiabilité des agents IA ils ne dépendent pas seulement d'une réponse correcte, mais aussi de la façon dont le système se comporte de manière répétée au fil du temps, en particulier lorsqu'il invoque des outils, produit des effets secondaires ou fonctionne à proximité des limites prévues.
Parce que RAMPART peut peser sur un réel développement
L'aspect le plus intéressant de REMPART il ne s'agit pas seulement de tester, mais de transformer les accidents en couverture permanente. Un constat apparu lors d’une équipe rouge ou un problème rencontré en production peut devenir un test reproductible. À partir de là, chaque modification apportée au système peut être testée par rapport au même scénario, réduisant ainsi le risque de régressions silencieuses.
Pour les entreprises travaillant sur tests d'agents pour les développeurscela signifie rapprocher la sécurité des outils déjà utilisés par l’équipe d’ingénierie. Il ne s'agit plus d'activités isolées, mais de contrôles intégrés aux workflows de développement. C'est une logique qui peut rendre les choses plus simples prévenir les risques liés aux agents IA sans trop séparer sécurité et livraison.
Clarity vérifie les hypothèses avant que le code n'existe
Si RAMPART est efficace au moment du test, Clarté sur la sécurité de l'IA de Microsoft travailler encore plus tôt. Microsoft le décrit comme un outil structuré permettant de tester les hypothèses de génie logiciel avant d'écrire du code.
Le point de départ est simple : de nombreuses erreurs coûteuses ne résultent pas d’une attaque, mais d’une décision de conception qui n’a jamais été véritablement remise en question. Une équipe peut décider qu’un agent doit utiliser un certain outil, gérer un certain flux d’utilisateurs ou accéder à une certaine source de données sans clarifier pleinement ce qui pourrait mal se passer.
Clarté essayez d'intervenir à ce stade. Il peut fonctionner comme une application de bureau, une interface utilisateur Web ou directement au sein d'un agent de codage. Dans tous les cas, dirigez des conversations structurées sur la clarification des problèmes, l’exploration de solutions, l’analyse des échecs et le suivi des décisions.
Comment fonctionne Clarity dans le référentiel
L’un des éléments les plus pratiques est la manière dont il préserve le travail effectué. Les résultats sont écrits dans le répertoire .clarity-protocole/ du référentiel, dans des fichiers markdown lisibles, consultables dans les pull request et comparables comme le reste du code source.
Cette approche intègre les contrôles de précodage de l'IA dans la mémoire technique du projet. Il ne reste plus de notes éparses ni de discussions sans trace, mais elles deviennent des documents partagés qui racontent :
- le problème à résoudre
- la logique de la solution choisie
- l'analyse des pannes possibles
- les décisions prises et pourquoi
Clarté il suit également l'obsolescence de ces documents. Si le problème initial change, l'outil avertit que la description de la solution et l'analyse des risques devront peut-être également être mises à jour. Pour les équipes, cela signifie avoir une forme de vérifie les hypothèses sur le code qui ne s'arrête pas au lancement du projet.
Parce que cette décision de Microsoft compte au-delà du lancement
L'annonce ne propose pas de mesures d'adoption ni de cas clients, mais la signification stratégique est déjà lisible. Microsoft tente de normaliser la vision de la sécurité des agents comme une pratique d'ingénierie native et continue, et non comme une refonte extraordinaire.
Voici les nouveaux Outils de sécurité Microsoft IA ils envoient un signal précis au marché : ceux qui développent des agents devront probablement traiter les risques avec la même discipline avec laquelle ils traitent aujourd'hui les tests d'intégration, la qualité du code et la fiabilité opérationnelle.
REMPART Et Clarté ils évoluent à deux niveaux complémentaires. D’une part, la reproductibilité des incidents et des constatations de l’équipe rouge ; en revanche, la possibilité de faire pression sur les choix de conception en les corrigeant coûte encore peu. C'est une combinaison qui peut particulièrement intéresser les organisations qui recherchent outils de sécurité pour les agents sans introduire de processus totalement séparés du travail des équipes produit et de développement.
Un modèle de sécurité de l’IA plus proche des développeurs
Insertions Microsoft REMPART Et Clarté dans une démarche plus large vers une sécurité de l’IA basée sur les spécifications et intégrée à l’ingénierie. La clarté aide à clarifier l'intention de conception et les hypothèses de départ ; RAMPART traduit ces limites en tests concrets à maintenir en vie à mesure que l'agent évolue.
C’est là qu’apparaît la valeur industrielle de l’opération. Si la sécurité est codifiée dans des documents versionnés et des tests exécutables, il devient alors plus facile de transférer les enseignements tirés, de couvrir les régressions et de créer des processus reproductibles. En d’autres termes, moins de recours aux connaissances implicites et plus de standardisation.
Les contributions aux deux projets proviennent de plusieurs personnalités internes. REMPART est dirigé par Bashir Partovi avec les contributions, entre autres, d'Elliot H Omiya, Richard Lundeen, Nina Chikanov, Spencer Schoenberg et Toby Kohlenberg. Clarté implique Yonatan Zunger, Dharmin Shah, Elliot H Omiya, Eve Kazarian, Sarah Cooley et Neil Coles.
Pour ceux qui suivent l’évolution des agents dans les entreprises, le problème ne se limite pas à la version open source elle-même. Il s'agit d'une tentative de déplacer la sécurité là où les agents naissent réellement : le référentiel, la pull request, le CI et les décisions prises avant la première ligne de code.
Voir l’article original en italien
