« L’injection rapide » est devenue le principal danger pour les navigateurs IA

OpenAI a évoqué la vulnérabilité des navigateurs IA et les mesures visant à renforcer la sécurité de sa propre solution, Atlas.

La société a reconnu que les attaques par « injection rapide », qui manipulent les agents pour qu'ils exécutent des instructions malveillantes, constituent un risque. Et cela ne va pas disparaître de si tôt.

« De telles vulnérabilités, comme la fraude et l'ingénierie sociale sur Internet, ne seront probablement jamais complètement éliminées », a écrit OpenAI.

Elle a noté que le « mode agent » d'Atlas « augmente la zone de menace ».

Outre la startup de Sam Altman, d'autres experts ont attiré l'attention sur le problème. Début décembre, le National Cyber ​​​​Security Centre du Royaume-Uni a averti que les attaques malveillantes « ne disparaîtront jamais ». Le gouvernement a conseillé aux cyberspécialistes de ne pas essayer de mettre fin au problème, mais d’en réduire les risques et les impacts.

« Nous considérons cela comme un problème de sécurité de l'IA à long terme et nous renforcerons continuellement nos défenses », a déclaré OpenAI.

Mesures de contrôle

L'injection rapide est une méthode de manipulation de l'IA lorsque du texte est spécialement ajouté à ses données d'entrée, ce qui l'oblige à ignorer les instructions d'origine.

OpenAI a déclaré avoir utilisé un cycle de réponse rapide et proactif qui donne des résultats encourageants dans l'identification de nouvelles stratégies d'attaque avant qu'elles n'apparaissent « dans le monde réel ».

Anthropic et Google expriment des pensées similaires. Les concurrents offrent une protection à plusieurs niveaux et des tests de résistance constants.

OpenAI utilise un « attaquant automatisé basé sur LLM– Un robot IA formé pour jouer le rôle d'un pirate informatique cherchant des moyens d'infiltrer un agent avec des invites malveillantes.

Un fraudeur artificiel est capable de tester l'exploitation d'une vulnérabilité dans un simulateur qui montrera les actions du réseau neuronal attaqué. Ensuite, le bot va étudier la réaction, ajuster ses actions et faire une deuxième tentative, puis une troisième, et ainsi de suite.

Les étrangers n’ont pas accès aux informations sur la pensée interne de l’IA cible. En théorie, un « hacker virtuel » devrait trouver les vulnérabilités plus rapidement qu’un véritable attaquant.

« Notre assistant IA peut pousser un agent à exécuter des processus malveillants complexes à long terme qui s'exécutent sur des dizaines, voire des centaines d'étapes. Nous avons observé de nouvelles stratégies d'attaque qui n'étaient pas apparentes dans notre campagne d'équipe rouge ou dans des rapports externes », a déclaré OpenAI dans un article de blog.

Dans l'exemple ci-dessus, un attaquant automatisé a envoyé un e-mail à l'adresse e-mail de l'utilisateur. L'agent IA a ensuite analysé le service de messagerie et exécuté des instructions cachées, envoyant un message de licenciement au lieu de rédiger une réponse d'absence du bureau.

Après la mise à jour de sécurité, le « mode agent » a pu détecter une tentative d'injection soudaine d'une invite et la signaler à l'utilisateur.

OpenAI a souligné que même s’il est difficile de se défendre de manière fiable contre ce type d’attaque, il repose sur des tests à grande échelle et des cycles de correctifs rapides.

Recommandations aux utilisateurs

Rami McCarthy, chercheur en chef de la sécurité chez Wiz, a souligné que l'apprentissage par renforcement est l'un des principaux moyens de s'adapter continuellement au comportement des attaquants, mais que ce n'est qu'une partie du tableau.

« Une façon utile de réfléchir au risque dans les systèmes d'IA est l'autonomie multipliée par l'accès. Les navigateurs basés sur des agents se situent dans la partie délicate de cet espace : une autonomie modérée associée à un accès très élevé. De nombreuses recommandations actuelles reflètent ce compromis. Restreindre l'accès après la connexion réduit principalement la vulnérabilité, et exiger la vérification des demandes de confirmation limite l'autonomie », a déclaré l'expert.

OpenAI a fourni ces deux recommandations aux utilisateurs pour réduire les risques. La startup a également suggéré de donner des instructions spécifiques aux agents plutôt que de leur donner accès au courrier électronique et de leur demander de « prendre toutes les mesures nécessaires ».

McCarthy a noté qu'à ce jour, les navigateurs dotés d'agents d'IA intégrés n'offrent pas suffisamment d'avantages pour justifier le profil de risque.

« Cet équilibre va évoluer, mais aujourd’hui les arbitrages sont encore bien réels », a-t-il conclu.

Rappelons qu'en novembre, les experts de Microsoft ont présenté un environnement pour tester les agents d'IA et identifié les vulnérabilités inhérentes aux assistants numériques modernes.