L'équipe Anthropic a découvert un problème système qui a duré près d'un an. sécurité biologique Claude. Le problème a touché un pool d'environ 50 000 personnes et environ 133 millions d'interactions avec des modèles, selon le rapport sur les risques d'août 2026.
Selon le rapport, en 11 mois, tout le trafic des plates-formes par lesquelles des sous-traitants externes travaillaient avec les modèles de l'entreprise est passé sans blocage. classificateurs biologiques. Après un examen rétrospectif, les développeurs ont déclaré n'avoir trouvé aucune preuve d'une utilisation dangereuse de Claude. Cependant, ils ont reconnu que l'ampleur de la lacune découverte réduisait leur confiance en l'absence d'autres problèmes inconnus avec les systèmes de protection.
Presque un an sans bloquer les biofiltres
Selon le rapport, de mai 2025 à avril 2026, aucun classificateur n’a été appliqué au trafic provenant des plateformes de feedback humain. Des sous-traitants externes ont travaillé via cette infrastructure pour évaluer les modèles et participer à leurs tests.
La plupart des participants ont pu mener des dialogues ouverts avec les modèles et ne pas se contenter d'évaluer des réponses préparées à l'avance. Il s’est avéré que le trafic passait par un drapeau destiné uniquement à un usage interne. Il a simultanément désactivé l’effet bloquant des classificateurs biologiques et l’enregistrement de leurs activations.
En conséquence, non seulement les demandes potentiellement dangereuses n’étaient pas bloquées, mais elles n’étaient pas non plus incluses dans les mécanismes de vérification ultérieurs.
Anthropic a également reconnu des problèmes de contrôle d'accès du côté de l'entrepreneur. Avant le durcissement des réglementations, de nombreux fournisseurs ne disposaient pas de procédures de contrôle du personnel permettant d’identifier de manière fiable les mauvais acteurs potentiels. Ce dernier, selon les développeurs, avant avril 2026 il ne serait pas particulièrement difficile de prendre position dans l'équipe Équipe rouge.
Sur 133 millions d'interactions, 1197 ont été identifiées
Après avoir découvert l'erreur, l'entreprise a pu restaurer la quasi-totalité de la correspondance. L'exception concernait certaines conversations sur l'une des plates-formes, où les données n'étaient enregistrées que si l'utilisateur cliquait sur le bouton d'envoi. Cela représente environ 1% du trafic concerné.
Anthropic a ensuite exécuté les requêtes humaines de toute la période via Claude Sonnet 5, qui devait rechercher des applications biologiques potentiellement dangereuses. Le modèle a attribué un niveau de risque élevé à 1 197 relevés de notes.
La majorité (757) provenaient d'équipes internes d'Anthropic qui utilisaient la même infrastructure. Sur les 440 cas restants, 378 étaient des équipes rouges intentionnelles : les spécialistes essayaient spécifiquement d'obtenir des réactions dangereuses de la part des modèles afin de tester leurs défenses.
Il restait donc 62 correspondances externes non liées à de tels tests. Anthropic les a examinés manuellement, ainsi qu'un échantillon aléatoire de 30 conversations de l'équipe rouge.
La société a déclaré que l'examen n'avait révélé aucune utilisation clairement dangereuse qui améliorerait considérablement la capacité d'un attaquant à créer une arme biologique. Dans plusieurs cas, les experts ont identifié d’éventuelles doubles utilisations de l’information ou des interactions entre équipes rouges à un niveau principalement académique.
L'entreprise a qualifié de « très improbable » que la vulnérabilité entraîne une augmentation significative du risque chimique et biologique. Parmi ses arguments, elle a cité le petit nombre de demandes potentiellement dangereuses et la durée généralement courte de ces conversations.
Cependant, la découverte du problème a amené Anthropic à augmenter son évaluation de la probabilité d'autres lacunes similaires dont l'entreprise n'a pas encore connaissance. Les données des clients, les systèmes internes et les pondérations des modèles n'ont pas été divulgués lors de cet incident, selon l'enquête de l'entreprise.
Une fois le bug corrigé, les classificateurs biologiques fonctionnent sur la grande majorité du trafic des entrepreneurs. Des exceptions sont autorisées pour des projets individuels si des contrôles supplémentaires sont en place.
Anthropic a relevé rétroactivement son évaluation des risques
L'incident a également affecté l'évaluation officielle par Anthropic de ses propres systèmes. L'entreprise utilise le scénario CB-1 pour évaluer le risque dans lequel un individu ou un petit groupe reçoit une assistance significative de l'IA pour créer ou utiliser des menaces chimiques ou biologiques connues.
Dans un précédent rapport sur les risques publié en février, Anthropic avait qualifié ce risque de « très faible ». Après avoir découvert le problème, les développeurs ont révisé rétroactivement la note pour cette période à « faible ».
Anthropic qualifie le niveau actuel de risque de dommages catastrophiques dans le scénario CB-1 de « faible, mais non négligeable ». Le démarrage relie directement la modification aux informations d'erreur dans le système de classification.
De plus, Anthropic a modifié son évaluation des risques de « très faible » à « faible ». misalamenta dans des situations à enjeux élevés. La société attribue ce changement à une incertitude supplémentaire suite aux récents incidents lors des cybertests de modèles.
Claude écrit la majeure partie du code de production d'Anthropic
Le rapport sur les risques révèle également à quel point Anthropic lui-même dépend de ses propres systèmes d'IA. Ainsi, Mythos 5 et le Model 2, non encore publié, sont largement utilisés par les employés de l'entreprise pour des travaux de recherche et d'ingénierie – à la fois de manière interactive et en tant qu'agents permanents.
Selon les développeurs, Claude écrit la majeure partie du code qui est ensuite accepté dans les référentiels de production de l'entreprise. La startup estime que l’utilisation de l’IA accélère déjà considérablement la recherche et le développement interne, mais jusqu’à présent de moins de la moitié.
Rappelons qu'Anthropic a découvert en août des problèmes de confiance, de mensonge et de collusion dans l'IA multi-agents.
Vous avez trouvé une erreur dans le texte ? Sélectionnez-le et appuyez sur CTRL+ENTRÉE
Voir l’article original en russe
