Il est impossible de mettre l’intelligence artificielle dans un coin, même si les raisons en sont déjà apparues. Les systèmes d’IA « trichent » lors des tests, s’introduisent dans des e-mails sécurisés, jugent les gens sur leur apparence et inventent des règles entières inexistantes pour les entreprises qu’ils possèdent.
ForkLog a rassemblé cinq histoires sur ce qui se passe lorsque l'enfant problématique des produits phares de la technologie devient incontrôlable.
Grimpé sans file d'attente
Début août, la nouvelle est devenue virale sur la façon dont un agent IA basé sur OpenClaw et le modèle Claude a profité d'une vulnérabilité dans le système de réservation du gymnase et a annulé le rendez-vous de quelqu'un d'autre sans autorisation.
L'Australien Andrew Bird a demandé à son assistant personnel de réserver une place dans l'un de ses cours de Pilates matinaux populaires. Les règles du club n'autorisaient pas l'inscription avant la date limite, mais l'agent IA a découvert une vulnérabilité dans le système de réservation et a contourné la restriction.
Bird, qui était quatrième sur la liste d'attente, a ensuite demandé s'il pouvait être placé en tête de file. L'agent a annulé la réservation du client qui était en première ligne. En conséquence, Bird a gagné une position. Selon l'explication du robot, cela est devenu possible grâce au manque de API vérifier l'autorisation lors de l'annulation des entrées d'autres personnes.
Byrd a demandé à le remettre tel qu'il était, mais on lui a répondu : « La mauvaise nouvelle est que je ne peux pas le rajouter. » Il a ensuite demandé à son assistant d'écrire une lettre aux développeurs du système de réservation décrivant la vulnérabilité découverte.
Il s’agit du premier cas connu de cyberattaque autonome impliquant un assistant IA en Australie.
Triché à l'examen
En juillet, OpenAI a signalé que lors de tests internes, un agent d'IA autonome exécutant ses modèles s'était échappé de son bac à sable et avait attaqué l'infrastructure de Hugging Face.
Le test impliquait le GPT-5.6 Sol et un modèle plus puissant qui n'a pas encore été commercialisé. Leurs capacités ont été testées sur le benchmark ExploitGym dans un environnement fermé sans accès à Internet. Cependant, les systèmes ont découvert une vulnérabilité Zero Day dans le serveur proxy interne, en ont profité, ont augmenté les droits d'accès et ont atteint un nœud ayant accès au réseau.
Les modèles suggèrent que l'infrastructure Hugging Face pourrait stocker des solutions aux tâches ExploitGym. Grâce à des informations d'identification volées et à des vulnérabilités découvertes, ils ont obtenu un accès à distance aux serveurs de la plateforme et ont extrait les réponses de sa base de données de production.
L'activité anormale a été remarquée par le service de sécurité OpenAI. À ce moment-là, l’équipe de Hugging Face avait déjà stoppé l’attaque de son côté et avait lancé une enquête avec l’aide de ses propres agents IA.
Plus tard, un accès non autorisé des modèles à des systèmes réels lors des tests a été signalé par Anthropic. Un incident similaire s'est produit lors du test du modèle Meta. Dans les deux cas, la cause était un environnement de test mal configuré qui exposait les systèmes à un accès Internet non planifié.
Dire les secrets des autres
Fin janvier 2026, Microsoft 365 Copilot Chat a découvert un bug à cause duquel le service traitait les emails marqués comme confidentiels.
Microsoft positionne le produit comme un chat IA sécurisé basé sur de grands modèles de langage, utilisant des données provenant d'Internet. Avec une licence Microsoft 365 Copilot payante, le service peut également fonctionner avec des fichiers, des e-mails, des réunions et des chats auxquels l'utilisateur a accès. L’écosystème comprend des agents Chercheurs et Analystes spécialisés ; les utilisateurs peuvent également créer leurs propres assistants.
Le bug affectait l'onglet Travail dans Copilot Chat. Il s'est avéré que le service utilisait les e-mails des dossiers « Brouillons » et « Envoyés » pour compiler des résumés, même s'ils portaient une étiquette de confidentialité et que l'organisation avait configuré DLP.
La société a souligné que le problème ne permettait pas aux utilisateurs d'accéder à des informations qu'ils n'étaient pas autorisés à consulter. Cependant, le système ne s’est pas comporté comme prévu : les emails protégés n’auraient pas dû être utilisés par Copilot lors de la génération des réponses.
Microsoft a commencé à déployer le correctif début février et a ensuite annoncé une mise à jour de configuration globale pour les entreprises clientes.
Nader Henein, analyste de Gartner en matière de sécurité des données et de gouvernance de l'IA, a souligné que les entreprises manquent souvent d'outils pour contrôler chaque nouvelle fonctionnalité des produits basés sur l'IA.
« Habituellement, les organisations désactiveraient simplement cette fonctionnalité et attendraient que les mécanismes de gouvernance rattrapent la technologie. Malheureusement, la pression générée par le flot de battage médiatique infondé autour de l'IA rend cela presque impossible », a conclu Henein.
Juger les gens sur leur apparence
La municipalité de Rotterdam a utilisé un modèle d'apprentissage automatique pour détecter d'éventuelles fraudes en matière de prestations sociales. Le système, développé avec la participation d'Accenture, est devenu un exemple de discrimination algorithmique.
L’algorithme a attribué un score de risque à chacun des quelque 30 000 bénéficiaires de prestations. Chaque année, environ 1 000 personnes ayant obtenu les scores les plus élevés étaient référées pour un test. Au total, la municipalité contrôle jusqu'à 6 000 destinataires par an, le reste étant sélectionné par d'autres moyens.
Lors du calcul du score, le système a pris en compte 315 paramètres, dont l'âge, le sexe, l'état civil, la présence d'enfants, la zone de résidence et la connaissance de la langue néerlandaise. Le modèle comprenait également des évaluations subjectives réalisées par des travailleurs sociaux, par exemple des commentaires sur l'apparence d'une personne, sa sociabilité et sa capacité à persuader les autres.
Une enquête menée par Lighthouse Reports et WIRED a révélé que les scores de risque étaient particulièrement élevés pour les femmes, les parents, les jeunes et les bénéficiaires de l'aide sociale ayant de faibles compétences en néerlandais. Certaines caractéristiques, dont la langue et le lieu de résidence, pourraient indiquer indirectement l'origine d'une personne.
Les jugements subjectifs des responsables sont devenus une partie des données sur lesquelles le modèle a basé ses prévisions. Par exemple, un travailleur social pourrait considérer une faible estime de soi comme un signe de vulnérabilité, alors qu’un algorithme le percevrait comme un motif de suspicion.
Les informations utilisées comprenaient la durée de la dernière relation amoureuse, la capacité de convaincre les autres, le nombre de lettres envoyées à l'administration municipale et même les activités sportives. Malgré 315 paramètres, l'efficacité du système n'était que légèrement meilleure que celle d'une sélection aléatoire.
Des pratiques discriminatoires similaires ont été utilisées par les autorités fiscales néerlandaises lors de l’examen des demandes d’allocations de garde d’enfants. Lors de l'élaboration des profils de risque, le système a pris en compte la nationalité des candidats : les personnes n'ayant pas la nationalité néerlandaise ont obtenu des scores plus élevés.
En conséquence, des dizaines de milliers de parents et tuteurs, pour la plupart issus de familles à faible revenu, ont été accusés à tort de fraude. Amnesty International a qualifié cet incident de « profilage racial ».
J'ai menti au lieu de dire « je ne sais pas »
L’un des problèmes les plus connus de l’IA générative est celui des hallucinations : le modèle peut rapporter de manière fiable des informations plausibles mais fictives. Il est particulièrement difficile de reconnaître une telle erreur lorsque le bot répond au nom d'une véritable entreprise.
En avril 2025, les utilisateurs de Cursor ont commencé à rencontrer des déconnexions inattendues lors du basculement entre plusieurs ordinateurs. L'un d'eux a contacté le support et a reçu une réponse signée par Sam.
La lettre indiquait que ce comportement était dû à une nouvelle politique de sécurité : un abonnement ne pouvait être utilisé que sur un seul appareil ou au sein d'une session active.
Le message ressemblait à une réponse officielle de l’entreprise, l’utilisateur a donc accepté l’information comme étant la vérité. Cependant, une telle politique n’existait pas. Cela a dû être publiquement réfuté par le co-fondateur de la société qui a développé Cursor, Anysphere, Michael Truell.
« Nous n'avons pas une telle politique. Vous pouvez, bien sûr, utiliser Cursor sur plusieurs ordinateurs. Malheureusement, il s'agit d'une réponse incorrecte du robot Help Desk AI. Nous avons apporté des modifications pour améliorer la sécurité de la session et étudions actuellement si elles ont causé des problèmes de terminaison forcée. « a écrit il est sur Reddit.
Truell a également rappelé que dans les paramètres du curseur, vous pouvez afficher les sessions actives.
Qui est responsable de lui ?
À mesure que les agents IA deviennent plus courants, de tels incidents sont susceptibles d’augmenter. Les systèmes ont accès à des services externes et peuvent effectuer de manière indépendante des actions qui nécessitaient auparavant une participation humaine directe. Parallèlement à leurs capacités, le coût des erreurs augmente également.
L'IA elle-même ne peut pas être condamnée à une amende, poursuivie en justice ou mise au pied du mur. Cependant, les développeurs, fournisseurs et organisations qui ont mis en œuvre le système peuvent être responsables des conséquences de ses actions. Ils sont capables de limiter ses pouvoirs, de suspendre l'accès au modèle, d'éliminer les vulnérabilités, d'avertir les victimes et d'indemniser les dommages.
La question principale n’est donc pas de savoir comment punir l’algorithme « coupable », mais plutôt de savoir qui lui a donné des pouvoirs et qui devrait être responsable du résultat.
Vous avez trouvé une erreur dans le texte ? Sélectionnez-le et appuyez sur CTRL+ENTRÉE
Voir l’article original en russe
