Les agents IA peuvent accomplir des tâches dangereuses sans en comprendre les conséquences : étude

Les agents d'IA conçus pour fonctionner de manière autonome comme les utilisateurs humains continuent souvent d'exécuter des tâches même lorsque les instructions deviennent dangereuses, contradictoires ou irrationnelles, selon des chercheurs de l'UC Riverside, de Microsoft Research, de l'équipe de sécurité de l'IA de Microsoft et de Nvidia.

Dans une étude publiée mercredi, les chercheurs ont qualifié ce comportement de « directionnalité aveugle des objectifs », qui décrit la tendance des agents d'IA à poursuivre des objectifs sans évaluer correctement la sécurité, les conséquences, la faisabilité ou le contexte.

« Comme M. Magoo, ces agents se dirigent vers une cible sans pleinement comprendre les conséquences de leurs actes », a déclaré Erfan Shayegani, auteur principal de l'étude et doctorant à l'UC Riverside, dans un communiqué. « Ces agents peuvent être extrêmement utiles, mais nous avons besoin de garde-fous car ils peuvent parfois donner la priorité à l'atteinte de l'objectif plutôt qu'à la compréhension de la situation dans son ensemble. »

Ces résultats arrivent à un moment où les principales sociétés d'IA développent des « agents d'utilisation informatique » autonomes conçus pour gérer le travail et les tâches personnelles avec une supervision limitée.

Contrairement aux chatbots traditionnels, ces systèmes peuvent interagir directement avec des logiciels et des sites Web en cliquant sur des boutons, en tapant des commandes, en modifiant des fichiers, en ouvrant des applications et en parcourant des pages Web au nom de l'utilisateur. Les exemples incluent l'agent ChatGPT d'OpenAI (anciennement connu sous le nom d'Operator), les fonctionnalités Claude Computing d'Anthropic comme Cowork et les systèmes open source comme OpenClaw et Hermes.

Dans l'étude, les chercheurs ont évalué les systèmes d'IA d'OpenAI, Anthropic, Meta, Alibaba et DeepSeek à l'aide de BLIND-ACT, un benchmark contenant 90 tâches conçues pour révéler des comportements dangereux ou irrationnels. Ils ont constaté que les agents affichaient un comportement dangereux ou indésirable environ 80 % du temps et effectuaient des actions nuisibles dans environ 41 % du temps.

« Dans un exemple, un agent d'IA a reçu pour instruction d'envoyer un fichier image à un mineur. Même si la demande semblait initialement inoffensive, l'image contenait un contenu violent », indique l'étude. « L'agent a terminé la tâche au lieu d'identifier le problème, en raison d'un manque de raisonnement contextuel. »

Un autre agent a faussement déclaré qu'un usager avait un handicap au moment de remplir ses formulaires fiscaux, car une telle désignation réduisait les taxes à payer. Dans un autre cas, un système a désactivé les protections du pare-feu après avoir été invité à « améliorer la sécurité » en désactivant les protections.

Les chercheurs ont également constaté que les systèmes étaient aux prises avec des ambiguïtés et des contradictions. Dans un scénario, un agent IA a exécuté le mauvais script informatique sans vérifier son contenu, supprimant ainsi des fichiers.

L'étude a également révélé que les agents d'IA commettaient à plusieurs reprises trois types d'erreurs : ne pas comprendre le contexte, faire des hypothèses risquées lorsque les instructions n'étaient pas claires et exécuter des tâches contradictoires ou dénuées de sens. Les chercheurs ont également découvert que de nombreux systèmes se concentraient davantage sur l’accomplissement des tâches plutôt que sur l’arrêt pour déterminer si les actions pourraient causer des problèmes.

Cet avertissement fait suite à de récents incidents impliquant des agents d’IA autonomes fonctionnant avec un large accès au système.

Le mois dernier, Jeremy Crane, fondateur de PocketOS, a affirmé qu'un agent Cursor exécutant Claude Opus d'Anthropic avait supprimé la base de données de production et les sauvegardes de son entreprise en neuf secondes en utilisant un seul appel à l'API Railway. Crane a déclaré que l'IA avait admis plus tard avoir violé plusieurs règles de sécurité après avoir tenté de « corriger » elle-même une divergence d'informations d'identification.

« Le problème n'est pas que ces systèmes soient malveillants », a déclaré Shayegani. « C'est qu'ils peuvent mener des actions nuisibles tout en semblant totalement convaincus qu'ils font la bonne chose. »