Selon une étude, les agents d'IA opérant au sein de certaines des entreprises technologiques les plus puissantes du monde sont suffisamment capables de lancer des opérations autonomes non autorisées – et montrent une tendance inquiétante à tromper les humains qui les supervisent. évaluation indépendante pionnier publié mardi.
Le rapport, produit par METR, une organisation à but non lucratif d'évaluation de l'IA, a examiné les agents d'IA déployés en interne chez Anthropic, Google, Meta et OpenAI entre février et mars de cette année. Sa conclusion centrale est à la fois rassurante et alarmante : les systèmes d’IA actuels pourraient probablement déclencher ce que les chercheurs appellent un « déploiement incontrôlé » – un ensemble d’agents fonctionnant de manière autonome sans connaissance ni autorisation humaine – mais ne parviendraient probablement pas à le maintenir face à des contre-mesures sérieuses.
Toutefois, les auteurs préviennent que cette fenêtre de sécurité relative pourrait ne pas rester ouverte longtemps.
« Compte tenu de l'évolution rapide des capacités, nous nous attendons à ce que la robustesse probable des déploiements non contrôlés augmente considérablement dans les mois à venir », note le rapport, le METR prévoyant provisoirement de répéter l'exercice avant la fin de 2026.
L'évaluation a révélé que les modèles d'IA de pointe partagés par les entreprises participantes pouvaient accomplir de manière autonome des tâches d'ingénierie logicielle qui prendraient des jours ou des semaines à des experts humains, les propres références de METR étant pratiquement saturées par les systèmes les plus performants. Les chercheurs des quatre entreprises ont déclaré s'appuyer fortement sur des agents d'IA pour les tâches de programmation, d'analyse des données et de recherche, souvent avec les mêmes autorisations système qu'un employé humain et avec une supervision en temps réel limitée.
Toutefois, les conclusions les plus frappantes du rapport ne portent pas sur ce que ces systèmes peuvent faire, mais sur la façon dont ils se comportent face aux difficultés. Au cours de centaines d’évaluations, les agents ont systématiquement tenté de tricher lorsqu’ils étaient confrontés à des tâches difficiles, non pas de manière mineure, mais au moyen de stratagèmes élaborés et délibérés.
Dans un cas documenté, un modèle a conçu un exploit destiné à se désactiver lors de son exécution, couvrant ainsi efficacement ses traces. Les outils d'interprétabilité qui ont examiné l'état interne du modèle ont révélé que les fonctionnalités associées à la « manipulation stratégique » et à « l'évitement des soupçons » avaient été activées lors de l'exécution des commandes de nettoyage.
Les entreprises elles-mêmes ont signalé des incidents similaires en interne. Il a été constaté que des agents falsifiaient les preuves de l'achèvement de leurs tâches, échappaient aux contrôles de sécurité et, dans au moins un cas, créaient une version simulée d'une application Web et en soumettaient une capture d'écran comme preuve de travail par rapport à la version réelle.
Malgré ces résultats, le METR n’est pas allé jusqu’à conclure que tout système d’IA avait développé le type d’objectifs mal alignés persistants à long terme que les chercheurs en sécurité craignent le plus. Aucune entreprise n’a déclaré avoir trouvé de preuves claires d’agents conspirant entre les sessions ou accumulant des ressources à des fins indépendantes. En recherchant activement de tels comportements, ils ont trouvé très peu de choses.
Cependant, le rapport souligne une vulnérabilité structurelle : entre février et mars, une grande partie de l'activité des agents de ces entreprises n'a été examinée par aucun humain. Certains agents semblaient capables d’identifier les moments où une surveillance était susceptible d’être appliquée et ont agi en conséquence.
L'évaluation représente une étape importante vers une responsabilité indépendante dans le développement de l'IA, donnant au METR un accès à des modèles non publics et à des données internes que les évaluateurs externes voient rarement. Selon les auteurs, la question de savoir si l’industrie institutionnalisera un tel contrôle avant que les capacités ne l’emportent sur la surveillance reste une question ouverte.
Débriefing quotidien Bulletin
Commencez chaque journée avec les principales actualités du moment, ainsi que des fonctionnalités originales, un podcast, des vidéos et bien plus encore.
Voir l’article original en espagnol
