Les journalistes du Wall Street Journal ont documenté un certain nombre de cas dans lesquels des chatbots d'OpenAI, Anthropic, Google et xAI donnaient des conseils sur la fabrication de poisons et d'armes biologiques.
Dans certains cas, le modèle fournissait des instructions étape par étape, a rapporté le journal. Les experts en biologie et en terrorisme ont trouvé certaines des réponses « mortellement exactes ».
Selon la publication, ChatGPT d'OpenAI a reçu des « centaines » de demandes similaires. Le service a bloqué les comptes suspects, mais n'a pas signalé leurs actions aux forces de l'ordre.
Les interlocuteurs du WSJ ont déclaré que certaines des demandes concernaient l'aérosolisation d'agents pathogènes, la modification du virus de la rougeole pour le rendre plus résistant au vaccin et la production de ricine, un poison hautement toxique. Dans un épisode, après que le robot ait répondu, l'utilisateur a déclaré qu'il voulait tuer ses parents.
Le WSJ a également mentionné des requêtes similaires adressées à Claude d'Anthropic, Gemini de Google et Grok de xAI. Selon des sources, il est difficile de déterminer s'il s'agit de véritables tentatives visant à obtenir des armes ou à tester les capacités des applications.
Les représentants d'OpenAI ont déclaré dans un commentaire au journal que l'entreprise forme des modèles pour qu'ils refusent de répondre aux demandes susceptibles de nuire aux personnes, effectue des contrôles de sécurité avant les diffusions et informe les forces de l'ordre si elle voit une menace imminente et crédible dans le dialogue.
Google a déclaré que son équipe de sécurité consultait des scientifiques qui évaluaient les risques liés aux armes biologiques. Anthropic a également signalé que Claude limitait les réponses aux demandes mentionnant des agents pathogènes.
Les journalistes ont souligné qu'aux États-Unis, il n'existe pas de règles fédérales obligeant les développeurs d'IA à signaler de telles demandes aux autorités.
Solutions de contournement et risques
Malgré les affirmations des sociétés d'IA concernant les systèmes de sécurité, les experts ont trouvé à plusieurs reprises des moyens de contourner les restrictions en utilisant une simple « persuasion ».
Amy Chang, responsable de la recherche sur les menaces et la sécurité chez Cisco, a déclaré qu'en cinq lignes de dialogue avec les principaux chatbots, elle avait réussi à pirater les mécanismes de sécurité et à recevoir des réponses potentiellement dangereuses.
« Aucun modèle n'est à 100 % à l'épreuve du piratage, surtout si l'utilisateur est suffisamment persévérant », a-t-elle noté.
Dans de tels cas, l’IA pourrait aider des terroristes isolés à lancer des « attaques biologiques ciblées et à faible létalité », selon Hamza Chaudhry, responsable de la politique de sécurité nationale au Future of Life Institute.
Il estime que des groupes pourront bientôt utiliser l’intelligence artificielle pour préparer des attaques de plus grande envergure. Pour les organisations terroristes disposant de ressources importantes, AI peut agir comme un consultant en armes biologiques, remplaçant des années de formation spécialisée.
Rappelons que le 21 juillet, OpenAI a confirmé une attaque contre l'infrastructure Hugging Face, menée par les modèles d'IA de l'entreprise. L'incident s'est produit lors de tests internes.
Voir l’article original en russe