Un rapport des chercheurs de Stanford HAI examine les risques posés par les agents d’IA autonomes lorsque les intérêts de leurs développeurs ou des entreprises qui les déploient entrent en conflit avec ceux des utilisateurs. Les chercheurs proposent d'établir un cadre fiduciaire, en particulier dans les domaines à haut risque tels que les services financiers et les soins de santé.
L'évolution de l'intelligence artificielle depuis des outils génératifs qui réagissent aux instructions des utilisateurs vers des systèmes agentiques capables d'exécuter de manière autonome des tâches complexes en plusieurs étapes ouvre un nouveau front lié aux conflits d'intérêts.
Le rapport des chercheurs de Stanford HAI examine les risques critiques liés à cette nouvelle génération d'agents d'intelligence artificielle et soulève une question fondamentale : un agent d'IA agira-t-il dans le meilleur intérêt de l'utilisateur lorsque les intérêts de son développeur ou de l'entreprise qui le met en œuvre entrent en conflit avec les siens ?
La question devient particulièrement pertinente à mesure que ces systèmes augmentent leur autonomie et accèdent à des quantités croissantes d’informations personnelles pour exécuter les tâches qui leur sont confiées par leurs utilisateurs.
Actuellement, il y a un manque de réglementation et il n'existe aucune exigence ou mécanisme standardisé pour révéler d'éventuels conflits d'intérêts des développeurs et des déployeurs de ces systèmes, une situation qui, selon le rapport, expose les consommateurs à des préjudices qui peuvent être invisibles.
Face à ce scénario, les chercheurs proposent que les développeurs et les déployeurs d'agents d'IA utilisés dans des contextes orientés consommateur soient soumis à un « devoir de loyauté » de nature fiduciaire. La proposition devient particulièrement importante lorsque ces systèmes interviennent dans des secteurs réglementés ou considérés comme à haut risque, comme les services financiers ou la santé.
Des chatbots aux agents autonomes
Les systèmes agentiques fonctionnent sur les mêmes grands modèles de langage (LLM) que ceux utilisés par les chatbots traditionnels, mais intègrent des fonctionnalités avancées qui transforment considérablement l'interaction des utilisateurs avec les services numériques.
La différence fondamentale réside dans leur capacité d’agir. Pendant qu'un chatbot répond à une demande et attend la prochaine invite de l'utilisateur, un agent peut exécuter de manière autonome des objectifs préalablement définis, utiliser des outils externes, interroger des bases de données et se coordonner avec d'autres agents avec une intervention humaine minimale.
Cette capacité transforme les agents en systèmes capables de développer des processus composés de différentes actions et d'interagir directement avec d'autres services numériques pour le compte des utilisateurs. Les agents d'IA peuvent également conserver la mémoire sur différentes sessions, outils et plates-formes, surmontant ainsi les silos de données traditionnels spécifiques aux applications.
Depuis début 2025, des géants de la technologie tels qu’Amazon, Google, Anthropic, OpenAI, Perplexity, Meta et Microsoft ont intégré des agents propriétaires directement dans les navigateurs et les applications, marquant un changement structurel dans la manière dont les utilisateurs opèrent sur Internet.
Agents IA et accès aux données personnelles sensibles
La capacité des agents à agir au nom des utilisateurs signifie également un accès beaucoup plus approfondi à leurs informations personnelles. Pour effectuer efficacement des tâches telles que la prise de rendez-vous médicaux, l'achat de produits en ligne ou la gestion des finances personnelles, ces systèmes peuvent avoir besoin d'accéder à des informations particulièrement sensibles.
Ces données comprennent les informations d'identification d'accès, les dossiers financiers, les historiques de communications et la surveillance en temps réel de certains environnements informatiques. Cet accès large et transversal augmente l'utilité des agents, mais génère également des risques pour la vie privée qui peuvent être invisibles pour les utilisateurs eux-mêmes.
Le problème ne se limite pas aux informations qu’une personne fournit directement au système. Un agent peut déduire des informations très sensibles sur la santé physique de l'utilisateur, ses éventuelles déficiences cognitives, ses difficultés financières ou son statut d'immigration.
Il s’agit de catégories d’informations que l’utilisateur n’a peut-être pas explicitement révélées, mais que l’agent peut collecter, relier et déduire à partir de données obtenues en effectuant des tâches complètement différentes et apparemment sans rapport.
Risque que les agents donnent la priorité aux intérêts des plateformes
L’autonomie croissante de ces systèmes soulève un autre problème fondamental : déterminer pour qui travaillent réellement les agents de l’intelligence artificielle lorsque des intérêts conflictuels surgissent. Sans réglementation spécifique de l’IA destinée aux consommateurs et sans lois adéquates sur la confidentialité des données, les agents risquent de devenir des extensions des plateformes d’entreprise qui les développent ou les déploient.
Dans ce scénario, les intérêts commerciaux de ces sociétés pourraient prévaloir sur les intérêts des utilisateurs que les agents sont censés représenter. Le rapport soulève précisément la nécessité de mettre en place des mécanismes pour faire face à cette situation.
Les chercheurs soutiennent que les développeurs et les déployeurs d’agents devraient être considérés comme des fiduciaires, en particulier lorsque ces systèmes fonctionnent dans des contextes à haut risque. La proposition affecte à la fois l'entité chargée de former les modèles sous-jacents qui pilotent le fonctionnement d'un agent et l'entreprise chargée de mettre cet agent à la disposition des utilisateurs.
Devoir de loyauté pour les développeurs et déployeurs d’IA
Considérer ces sociétés comme des fiduciaires reviendrait à imposer un « devoir de loyauté » envers les utilisateurs. Cette obligation imposerait aux entités responsables des agents d’IA d’agir dans le meilleur intérêt de leurs utilisateurs dans le cadre de la mission qui leur est déléguée et de le faire sans conflits d’intérêts non révélés.
Ainsi, le débat sur les agents autonomes ne se limiterait plus aux seules questions liées à leur fonctionnement technique, à leur sécurité ou à leur capacité à exécuter correctement certaines tâches. Cela nécessiterait également d’aborder la relation d’intérêts entre l’utilisateur qui délègue une action, l’agent qui l’exécute et les entreprises qui développent ou déploient la technologie.
Le rapport considère que la création d'un cadre fiduciaire efficace pour les agents d'intelligence artificielle nécessite une action coordonnée à trois niveaux : les agences chargées de fixer les normes techniques, les régulateurs fédéraux et le Congrès.
La proposition cherche à répondre à l’une des questions qui accompagneront le déploiement d’agents autonomes : garantir que les outils conçus pour mieux connaître leurs utilisateurs et agir en leur nom ne finissent pas par utiliser cette position privilégiée pour servir d’autres intérêts que ceux des personnes qui leur ont délégué leurs tâches.