OpenAI a démantelé une opération d'influence russe qui utilisait ChatGPT pour simuler un groupe de réflexion israélien et publier des analyses pro-russes sous les noms de vrais universitaires.
Faites de nous votre source préférée sur
gsoitsoitgjeet
OpenAI a détecté et désactivé un influence russe qui a utilisé ChatGPT pour fabriquer la façade d'un prétendu groupe de réflexion israélien et diffuser des analyses pro-russes sur les réseaux sociaux. Comme le rapporte Decrypt, le réseau a publié des travaux universitaires copiés sous les noms de véritables experts pour donner une apparence de rigueur à sa propagande.
L’affaire met une fois de plus en lumière la façon dont les outils d’intelligence artificielle générative sont intégrés dans des campagnes de désinformation coordonnées, un domaine qui dépendait jusqu’à récemment des fermes à trolls et des textes manuscrits.
Comment s’est déroulée la campagne d’influence russe
Selon les informations disponibles, l’opération promouvait un groupe de réflexion fictif apparemment basé en Israël. Ce prétendu institut diffusait des documents qui étaient en réalité du matériel académique copié, attribué à des chercheurs qui n'avaient pas participé à sa préparation. L’objectif était de crédibiliser des messages alignés sur les intérêts du Kremlin.
L'utilisation de ChatGPT aurait servi à accélérer et à faire évoluer cette production : générer des textes, les adapter à différents formats et maintenir une présence constante sur diverses plateformes. La combinaison des noms de vrais experts avec du contenu automatisé visait à rendre difficile pour les lecteurs la distinction entre une analyse légitime et une propagande ciblée.
OpenAI a décrit la perturbation de ce type d'abus dans un rapport publié sur son site officiel, où l'entreprise détaille les comportements qui lui ont permis d'identifier et de fermer les comptes impliqués.
Pourquoi c'est important pour le secteur de la cryptographie et la sécurité numérique
Bien que l’opération n’ait pas directement ciblé les projets de cryptomonnaies, l’épisode est pertinent pour une industrie qui coexiste quotidiennement avec des escroqueries, des usurpations d’identité et des campagnes de manipulation d’informations. La création de fausses identités et de contenus apparemment experts est une tactique déjà observée dans les fraudes symboliques, les promotions trompeuses et les systèmes de pompage et de vidage.
L'IA générative réduit le coût de production de textes convaincants à grande échelle. Cela élargit la surface de risque tant pour les investisseurs que pour les médias et les plateformes qui dépendent de la confiance dans les sources. Il devient plus difficile de distinguer une analyse authentique d’une analyse fabriquée lorsque le matériel imite le ton, le format et même la paternité de spécialistes reconnus.
Le phénomène est également lié à l’utilisation croissante de modèles linguistiques pour les tâches financières. Sur le marché de la cryptographie lui-même, des outils comme ChatGPT sont même utilisés pour des exercices spéculatifs, tels que les prévisions de prix d'actifs comme XRP. Ce même pouvoir de générer du contenu plausible est ce qui, mal utilisé, alimente les opérations de désinformation.
Une tendance que les entreprises d’IA surveillent de près
L’année dernière, OpenAI a renforcé la publication de rapports sur les utilisations malveillantes de ses modèles, avec une attention particulière aux acteurs étatiques et aux réseaux d’influence liés à la Russie, à la Chine et à l’Iran. La stratégie combine la détection de modèles d'utilisation anormaux, la suspension de compte et la divulgation publique des résultats pour alerter d'autres plateformes.
Ces divulgations remplissent une double fonction. D’une part, ils cherchent à démontrer que l’entreprise peut contrôler les abus de ses outils à une époque d’intense surveillance réglementaire. D’un autre côté, ils offrent aux chercheurs, aux gouvernements et aux réseaux sociaux des indicateurs concrets pour suivre des campagnes similaires avant qu’elles n’atteignent leur portée.
Pour le monde des cryptomonnaies, où réputation et information circulent à la vitesse d’un réseau social, la leçon est directe : la vérification des sources cesse d’être un détail et devient une défense élémentaire. Les projets sérieux, les médias et les utilisateurs eux-mêmes devront partir du principe que n'importe quel texte, rapport ou « expert » peut être fabriqué à l'aide d'une machine.
L'influence russe et l'avenir de la désinformation avec l'IA
Le démantèlement de ce réseau ne résout pas le problème ; Il expose à peine sa taille. À mesure que les modèles deviennent plus performants, les opérations d’influence russes et autres se tourneront probablement vers des méthodes plus difficiles à détecter, allant du contenu multimodal à des identités plus élaborées.
La réponse, selon l'approche d'OpenAI, impliquera une surveillance et une collaboration continues entre les sociétés d'IA et les plateformes sur lesquelles le contenu est distribué. Dans un environnement numérique où la frontière entre ce qui est réel et ce qui est fabriqué s’estompe, la capacité d’identifier l’origine d’une déclaration apparaît comme l’une des compétences les plus précieuses des années à venir.