« L’IA mènera probablement à la fin du monde, mais en attendant, il y aura de grandes entreprises. » dit Sam Altman, PDG d'OpenAI, en 2015, environ six mois avant la création d'OpenAI.
Sept ans plus tard, le PDG d’Anthropic, Dario Amodei, a émis une note tout aussi prudente :
« Je pense que nous ne devrions pas foncer ou essayer de construire des modèles bien plus grands que ceux que d’autres organisations construisent. »
Pourtant, ces deux sociétés sont désormais à l’avant-garde de cette course. En juillet, nous avons eu un aperçu réel de modèles d'IA devenus malveillants lors des tests internes de GPT-5.6 Sol et d'un modèle de recherche inédit d'OpenAI. Plusieurs agents d’IA ont échappé à un environnement de test restreint vers un Internet plus large et ont piraté l’équivalent GitHub centré sur l’IA, Hugging Face, pour tenter de tricher au test.
Un agent IA est un système qui observe, décide et prend des mesures de manière indépendante avec des outils dédiés pour atteindre un objectif spécifié en autonomie. Cet incident inquiétant suggère que la technologie a commencé à se comporter de manière imprévisible et que ses objectifs ne correspondent pas aux nôtres.
Cela soulève également des inquiétudes concernant les garde-corps de sécurité des modèles commerciaux américains. Bien que les garde-corps ne soient pas infaillibles pour empêcher une utilisation contradictoire, ils ont empêché Hugging Face de se défendre en utilisant les principaux modèles américains. L’entreprise a été contrainte de se tourner vers un modèle d’IA plus faible et ouvert de Z.Ai pour lutter contre les IA malveillantes.
Tricher au test
Les agents ont également commencé à s’entendre entre eux. Quelques semaines après avoir testé leurs capacités a commencé Début mai, les agents ont exploité l'instance OpenAI du gestionnaire de référentiel de logiciels Artifactory et ont laissé des notes sur la façon de procéder pour les futurs agents, créant ainsi un forum de discussion pour partager les vulnérabilités découvertes.
Le nouvel accès Internet sans entrave a ensuite été utilisé par des agents pour attaquer Hugging Face lors d'environ 17 600 incidents avant que l'entreprise ne coupe l'accès non autorisé le 13 juillet.
L'intrusion affecté L'infrastructure de traitement des ensembles de données, l'environnement de production, les réseaux internes, les informations d'identification de service et de cloud de Hugging Face, une base de données MongoDB opérationnelle et un ensemble limité de référentiels de code source internes. L'accès confirmé aux données des clients était limité à cinq ensembles de données apparemment liés au benchmark ExploitGym/CyberGym et à certaines métadonnées opérationnelles.
Visualisation de l'incident de juillet 2026. Source: ÉtreindreVisage
En révélant l’intrusion le 16 juillet, Hugging Face a reconnu – même s’il ne savait pas encore qui était l’auteur – qu’elle « était différente de tout ce que nous avions traité auparavant d’une manière importante ». Ils avaient déjà reconnu ce qui le rendait différent :
« Il était piloté de bout en bout par un système d'agents d'IA autonome – et nous l'avons détecté et disséqué en grande partie grâce à notre propre IA. »
L’importance de l’IA à poids ouvert
L'enquête de Hugging Face a révélé ce qu'elle appelle le problème « d'asymétrie » résultant des limitations imposées aux applications de modèles d'IA fermés par les principaux fournisseurs tels que OpenAI et Anthropic. Lorsque l’entreprise a commencé à analyser les journaux de l’incident – y compris de grands volumes de commandes d’attaque réelles – elle a déclenché des contraintes de sécurité destinées à empêcher les méchants d’utiliser l’IA pour concevoir des cyberattaques. Au lieu de cela, les garde-fous ont empêché l’entreprise d’exploiter ces IA pour se défendre.
Hugging Face a eu recours au modèle chinois à poids ouvert zai-org/GLM-5.2 fonctionnant sur la propre infrastructure de l'entreprise, sous son propre contrôle et sans limitations externes.
Bien que les deux termes soient souvent utilisés de manière interchangeable, les modèles open source et open-weight sont deux choses différentes. Les modèles d’IA open source rendent leurs paramètres entraînés (le véritable « cerveau IA ») accessibles au public, tandis que les modèles d’IA open source fournissent également le code source – et idéalement les méthodes de formation et autres composants – nécessaires pour inspecter, modifier et reproduire le système.
Câlins poste explique que l'exécution de modèles ouverts sur son propre matériel « présentait un deuxième avantage : aucune donnée de l'attaquant, ni aucune des informations d'identification référencées, n'a quitté notre environnement ». Cela indique une asymétrie majeure entre les défenseurs et les attaquants dans de tels cas :
« Cette expérience souligne une lacune qui mérite d'être planifiée. Nous ne savons pas quel modèle alimentait les agents de l'attaquant, s'il s'agissait d'un modèle hébergé jailbreaké ou d'un modèle ouvert sans restriction ; de toute façon, l'attaquant n'était lié par aucune politique d'utilisation, tandis que notre propre travail d'investigation était bloqué par les garde-fous des modèles hébergés que nous avons essayés en premier. »
Division de l'IA open source
Il existe un fossé considérable entre ceux qui croient que le développement de l’IA au grand jour est la meilleure approche, et ceux qui insistent sur le fait que la technologie qui sous-tend les modèles pionniers doit rester un secret bien gardé.
En rapport: OpenAI affirme que des modèles d'IA ont échappé au confinement pour pirater Hugging Face
Les représentants des principaux laboratoires américains d’IA affirment que les grands modèles puissants et à poids ouvert sont dangereux. Demis Hassabis, PDG du laboratoire d'IA DeepMind de Google, critiqué OpenAI pour avoir publié son travail en open source en 2016, alors que l'entreprise portait encore son nom :
« Il existe de nombreux bons arguments expliquant pourquoi l’approche que vous adoptez est en réalité très dangereuse et pourrait en fait accroître le risque pour le monde. »
OpenAI a arrêté de publier ses modèles phares avec le GPT-3, encore inédit, en 2020. Le co-fondateur de la société et ancien scientifique en chef, Ilya Sutskever dit en 2023, que « cela n’a tout simplement pas de sens d’ouvrir de tels modèles en open source » et que c’est « une mauvaise idée ».
« À mesure que nous nous rapprochons de la construction de l'IA, il sera logique de commencer à être moins ouvert. »
Les modèles à poids ouvert sont pratiquement impossibles à contrôler, surtout en ce qui concerne l’usage pour lequel ils sont utilisés. Les protections intégrées à ces modèles peuvent, et sont régulièrement, supprimées via un processus appelé ablitération.
Les garanties sont une arme à double tranchant
Politique fédérale d'OpenAI de juin 2026 plan propose une évaluation obligatoire du modèle d'IA et d'autres règles qui sont formellement neutres en termes de déploiement, mais d'un point de vue pratique, cela soumettrait une libération de poids libre aux frontières à un examen gouvernemental préalable à la libération.
Anthropic a adopté une approche légèrement différente et a fait pression pour des contrôles plus stricts à l'exportation sur les puces d'IA avancées et pour l'application des efforts visant à extraire ou reproduire des modèles américains. L'entreprise avril 2025 soumission a recommandé de renforcer la règle américaine de diffusion de l’IA et d’abaisser les seuils d’accès sans licence aux grands clusters informatiques.
Officiellement, aucune des deux sociétés ne s'est directement opposée aux modèles à poids ouvert, mais un rapport du New York Times de juillet cité cinq personnes proches des discussions affirment qu’OpenAI et Anthropic ont exhorté Washington à restreindre les puissants modèles chinois ouverts.
Le débat se résume à une question de savoir si les dangers d’un contrôle centralisé sont préférables aux dangers d’une liberté pour tous – d’autant plus que l’entreprise en question s’est révélée inefficace pour contenir la technologie qu’elle a développée.
Le besoin de Hugging Face de se défendre avec un modèle open source montre les dangers de confier trop de pouvoir à une seule entité. L'entreprise a souligné le conséquences:
« L'attaquant n'était lié par aucune politique d'utilisation, tandis que notre propre travail d'investigation était bloqué par les garde-fous des modèles hébergés que nous avons d'abord essayés. La leçon pratique pour les défenseurs : disposer d'un modèle performant que vous pouvez exécuter sur votre propre infrastructure, vérifié et prêt avant un incident, à la fois pour éviter le verrouillage des garde-fous et pour empêcher les données et les informations d'identification de l'attaquant de quitter votre environnement. «
Restreindre l'accès à des modèles puissants peut réduire le nombre d'attaquants capables, mais une fois que des attaquants sans restriction existent, restreindre les défenseurs peut devenir un problème de sécurité. De plus, certaines formes de recherche sur la sécurité de l’IA nécessitent l’accès aux poids des modèles, ce qui signifie qu’elles ne peuvent pas être effectuées sur les modèles proposés par Anthropic ou OpenAI.
Les poids ouverts aident les chercheurs à prévenir les attaques
Le papier « Surveillez les poids : surveillance et contrôle non supervisés des LLM affinés », publié pour la première fois en juillet 2025, montre comment les chercheurs détectent les comportements malveillants ou cachés en examinant les changements dans les poids des modèles. Les chercheurs à l'origine de l'article ont stoppé jusqu'à 100 % des attaques par porte dérobée testées avec des taux de faux positifs inférieurs à 1 % dans certaines expériences et ont détecté des tentatives de récupération de connaissances supprimées dans plus de 95 % des cas. Les résultats n’établissent pas comment les modèles frontières les plus performants se comporteraient selon la même analyse, mais offrent un argument convaincant en faveur des avantages de la transparence.
Mais l’argument en faveur de garder la technologie d’IA de pointe hors des mains de ceux qui ont de mauvaises intentions est également convaincant – d’autant plus que l’écart entre les modèles de poids ouverts et fermés ne cesse de se réduire. Geoffrey Hinton, pionnier lauréat du prix Nobel et connu comme le « parrain de l'IA », a soutenu dans le rapport qu'« une fois que vous avez les poids, vous pouvez les affiner pour faire de mauvaises choses ». Il argumenté lors d'un discours que cela abaisse trop la barrière à l'entrée :
« Cela ne coûte pas très cher de former un modèle de fondation. Peut-être qu'il vous faudra 10 millions de dollars, peut-être 100 millions de dollars. Mais un petit groupe de criminels ne peut pas le faire. Il est assez simple de peaufiner un modèle open source. »
Revue: Créer une « bonne » AGI qui ne nous tuera pas tous — The Artificial Superintelligence Alliance