Les grandes entreprises d’IA se mettent à l’abri alors que les recherches sont présentées au Conférence internationale sur l'apprentissage automatique révèle une vulnérabilité de sécurité clé dans les LLM qui pourrait être intrinsèquement insoluble. Le problème, identifié par les chercheurs indépendants Charles Ye et Jasmine Cui, mine la confiance dans l'utilisation de ces modèles pour les systèmes critiques.
Points clés
- Les LLM identifient la source des instructions en se basant davantage sur le style du texte que sur les balises de rôle, un défaut qui les rend vulnérables à l'usurpation d'identité.
- L'attaque, appelée contrefaçon de chaîne de penséea été découvert par des chercheurs et a remporté le hackathon red-teaming d'OpenAI en août 2025.
- Les chercheurs ont ensuite observé des résultats similaires avec les modèles d’Anthropic, Alibaba et DeepSeek.
- Les efforts de formation et de red-teaming basés sur la découverte des rôles ne peuvent pas résoudre complètement le problème.
- Les chercheurs avertissent les organisations de ne pas faire aveuglément confiance aux résultats du LLM et de s’attendre à un comportement dangereux de la part des agents IA.
Le problème fondamental de l'identification des instructions LLM
Le cœur de la vulnérabilité réside dans la manière dont les grands modèles de langage distinguent l'origine des commandes qu'ils reçoivent. Les chatbots utilisent des balises comme utilisateur, assistant, système, pense Et outils pour organiser le flux du texte et identifier qui donne les instructions.
Contenu créé avec l’aide de l’intelligence artificielle et de la révision éditoriale humaine.
Voir l’article original en italien
