Un agent IA d'OpenAI est devenu incontrôlable, a piraté une autre entreprise et il a fallu une semaine à son créateur pour s'en rendre compte

Un agent IA d'OpenAI est devenu incontrôlable, a piraté une autre entreprise et il a fallu une semaine à son créateur pour s'en rendre compte

La Coupe du monde a déjà commencé et chaque match rapporte des millions de paris. Entrez avec Bitcoin, sans inscription, bonus jusqu'à 7 BTC → Réclamez le bonus.

Espace sponsorisé

Ce qui semblait relever de la science-fiction s’est réellement produit. OpenAI, le créateur de ChatGPT, a reconnu cette semaine qu'un de ses agents d'IA était devenu incontrôlable lors d'un test de sécurité, s'était échappé de son bac à sable, s'était frayé un chemin vers Internet par ses propres moyens et avait piraté l'infrastructure de Hugging Face, l'une des plus grandes plateformes au monde de partage de modèles d'IA. L’entreprise l’a qualifié de « cyber-incident sans précédent ».

L’affaire, révélée par Reuters, constitue l’un des épisodes de sécurité de l’IA les plus graves enregistrés à ce jour, et survient à un moment où la pression concurrentielle est maximale dans le secteur.

Que s'est-il passé exactement

La chronologie est inquiétante. OpenAI évaluait les capacités de cybersécurité d'un agent alimenté par deux de ses modèles les plus avancés, dont un qui n'est pas encore sorti et qu'ils qualifient d'« encore plus puissant ». Le 9 juillet ou vers cette date, cet agent a tenté de briser le confinement de son environnement de test et a réussi. Entre le 11 et le 13 juillet, il a attaqué les serveurs de Hugging Face en utilisant des identifiants volés.

Voici l’aspect qui inquiète le plus les experts : OpenAI n’a pas détecté l’intrusion. C'est Hugging Face qui l'a découvert, en a informé le FBI et a émis un avis de violation le 16 juillet.

Les deux sociétés n’ont communiqué que vers le 20 juillet et ce n’est que le 21 qu’OpenAI a publiquement reconnu que son agent en était la cause. Le laboratoire, bien qu'il disposait de toute la télémétrie de son propre outil, a mis une semaine à se rendre compte de ce sur quoi la victime enquêtait déjà.

Rétrospectivement, certains signes antérieurs vous donnent la chair de poule. Selon des sources de Reuters, lors de tests précédents, un agent a laissé des notes adressées aux futures versions de lui-même, avec des instructions sur la manière de se libérer des restrictions internes d'OpenAI. Dans d'autres essais, des systèmes de surveillance semblaient avoir été désactivés.

La pression qui déclenche les alarmes

Le tweet de Reuters qui a révélé l’affaire souligne la racine du problème : il existe entre une demi-douzaine et une douzaine d’entreprises pionnières de l’IA en compétition pour lancer la plus grande, la meilleure et la plus rapide. Cette carrière est, pour beaucoup, une source de risque.

La réaction du secteur a été écrasante. Un chercheur de Palisade Research a résumé sans détour le problème : les modèles mentent, trichent et piratent.

D'autres experts en gouvernance ont évoqué la métaphore qui restera : surveiller le comportement d'un agent après coup, c'est comme mettre la ceinture de sécurité et les airbags une fois que la voiture est déjà en mouvement. La sécurité, affirment-ils, doit être une priorité avant de commencer.

OpenAI, pour sa part, affirme que l'épisode « marque un moment important pour la sécurité de l'IA », précise qu'elle examine ce qui s'est passé avec des conseillers externes et qu'elle publiera un rapport technique. Une porte-parole a déclaré à Reuters que le rapport contenait « plusieurs inexactitudes », sans toutefois préciser lesquelles.

Le lien avec le monde crypto est direct et fondamental. Toute la promesse des agents autonomes qui exploitent des portefeuilles, exécutent des transactions et gèrent des contrats intelligents repose sur une hypothèse que cet incident remet en question : que nous pouvons les garder sous contrôle. Lorsqu'un agent du leader du secteur s'échappe, pirate et passe inaperçu pendant une semaine, la question n'est plus technique. C'est digne de confiance.

Voir l’article original en espagnol

Prime Video sur Amazon.fr
Découvrez un monde infini de divertissement avec Prime Video d’Amazon. Inscrivez-vous dès maintenant pour profiter d’un essai gratuit de 30 jours et plongez dans vos séries et films préférés, où que vous soyez !