En résumé
- Anthropic a supprimé un système de suivi caché dans Claude Code qui utilisait des marqueurs Unicode pour identifier les revendeurs et les utilisateurs ayant des liens vers l'IA chinoise.
- L'ingénieur Thariq Shihipar a confirmé que la fonctionnalité avait été introduite en mars à titre expérimental et que l'équipe avait déjà l'intention de la restaurer.
- La controverse fait suite aux accusations d'Anthropic contre DeepSeek et Alibaba pour avoir exploité des millions de réponses de Claude pour former des modèles concurrents.
Anthropic a supprimé un système de suivi caché de Claude Code après qu'un chercheur en sécurité a découvert que l'assistant de programmation d'IA utilisait des marqueurs non divulgués pour identifier l'emplacement de certains utilisateurs, l'utilisation de proxys et des liens possibles vers des laboratoires d'IA chinois.
La fonctionnalité, découverte en juin par le développeur « Thereallo », incorporait des signaux dans les invites du système de Claude Code qui pourraient signaler les utilisateurs qui, selon Anthropic, contournaient les restrictions ou tentaient d'extraire des fonctionnalités du modèle.
« Anthropic souhaite probablement détecter les revendeurs d'API, les passerelles Claude Code non autorisées et les pipelines d'attaque par distillation », a écrit Thereallo. « Une ANTHROPIC_BASE_URL personnalisée pointant vers un domaine de revendeur connu est un signal utile. Un nom d'hôte contenant deepseek ou zhipu est également un signal utile. »
Thereallo a noté que la tentative d'Anthropic de détecter les revendeurs, les passerelles Claude Code non autorisées et les attaques potentielles par distillation était logique, mais a critiqué la façon dont cela a été fait, déclarant que Claude Code cachait les signaux de trace dans les invites du système à l'aide de marqueurs Unicode et de listes de domaines hachées, plutôt que de divulguer le système via la documentation ou les notes de version.
« Ce n'est pas une fonctionnalité malveillante, mais c'est une décision étrange pour un outil de développement qui demande de la confiance », a déclaré Thereallo.
Après la révélation du tracker en ligne, l'ingénieur Anthropic Thariq Shihipar a affirmé sur X qu'il avait été introduit en mars comme une « expérience » pour mettre fin aux abus de compte par des revendeurs non autorisés et protéger Claude des attaques de distillation.
« L'équipe a depuis lors mis en œuvre des mesures plus strictes, et en fait, nous avions l'intention de les supprimer depuis un certain temps », a écrit Shihipar la semaine dernière. « Nous avons fait la fusion des [pull request] et cela devrait être complètement inversé dans la version de demain. »
La nouvelle arrive à un moment où Anthropic a intensifié ses avertissements concernant la distillation des modèles d'IA, où les résultats d'un système sont utilisés pour entraîner un autre modèle. Bien que cette pratique soit courante dans la recherche sur l’IA, dans le contexte géopolitique, la distillation devient une préoccupation de sécurité nationale. Plus tôt ce mois-ci, Alibaba a interdit à ses employés d'utiliser Claude Code, qualifiant l'outil de logiciel « à haut risque » pour des raisons de sécurité.
En février, Anthropic a accusé les développeurs chinois d'IA DeepSeek, Moonshot AI et MiniMax d'avoir utilisé des comptes frauduleux pour extraire des millions de réponses de Claude afin de former des modèles concurrents. Les accusations ont été critiquées par ceux qui se demandaient en quoi cette pratique diffère des méthodes utilisées dans l’ensemble de l’industrie de l’IA.
En avril, Elon Musk a déclaré que xAI avait « partiellement » utilisé des modèles OpenAI lors de la formation de Grok, qualifiant la distillation de pratique répandue dans l'industrie. En juin, le PDG d'Anthropic, Dario Amodei, a exhorté le Congrès à renforcer les protections contre l'exploitation minière de l'IA par des acteurs étrangers après avoir allégué que les commerçants liés à Alibaba avaient généré 28,8 millions de transactions avec Claude via près de 25 000 comptes frauduleux.
Anthropic n'a pas immédiatement répondu à une demande de commentaire de Décrypter.
Débriefing quotidien Bulletin
Commencez chaque journée avec les principales actualités du moment, ainsi que des fonctionnalités originales, un podcast, des vidéos et bien plus encore.