Aurascape a découvert que les attaquants affectent les plateformes d'IA telles que ChatGPT, Google et Perplexity.
La fraude manipule des sites légitimes pour influencer les réponses générées par l'IA.
Aurascape, une société de cybersécurité et d'intelligence artificielle (IA) créée par Auradine mais opérant de manière indépendante au sein de l'écosystème Aura Labs, a révélé un nouveau modèle d'arnaque sur Internet.
Les fraudes évoquées dans un communiqué du 8 décembre affecter les plateformes d'IA telles que ChatGPT, Google, Perplexity et d'autres assistants basés sur de grands modèles de langage génératifs.
Selon l’enquête, ce modèle d’arnaque repose sur la manipulation systématique des contenus présents sur le web. pour détourner les utilisateurs vers de faux numéros de téléphone service client des compagnies aériennes.
Les chercheurs expliquent que les attaquants ne tentent pas de modifier le fonctionnement interne des assistants IA (les programmes qui répondent aux questions à l’aide de modèles avancés).
Au lieu de cela, ils interviennent dans l’environnement à partir duquel ces systèmes obtiennent des informations. Ils manipulent des pages légitimes sur le Web afin que, lors de la recherche des coordonnées d'une compagnie aérienne, les participants finissent par montrer de faux téléphones qui conduisent à des centres d’escroquerie visant à obtenir des paiements ou des données sensibles.
Concrètement, l’attaque n’est pas dirigée contre le modèle d’IA lui-même, mais contre le matériel qu’elle consulte.
Ainsi, plutôt que de tromper directement l’utilisateur, Les attaquants apprennent à influencer les systèmes qui synthétisent les réponsesce qui amplifie l'ampleur de la fraude, selon l'équipe d'Aurascape.
Comment fonctionne l’arnaque : manipuler le web pour tromper l’IA ?
Selon Aurascape, les fraudeurs effectuent un processus que les chercheurs décrivent comme «Empoisonnement du numéro de téléphone LLM» (numéros de téléphone empoisonnés pour les modèles linguistiques).
Ce mécanisme consiste à modifier du contenu légitime sur Internet pour que les assistants IA lisent et recommandent de faux numéros comme s'ils étaient officiels.
Les chercheurs expliquent que « les attaquants attaquent le site Internet lui-même ». Pour y parvenir, ils insèrent de faux contenus sur des sites d’organismes publics, d’universités, des blogs WordPress, des descriptions YouTube et des avis sur des plateformes comme Yelp.
De plus, les pirates utilisent d’autres techniques appelées Optimisation du moteur génératif et Optimisation du moteur de réponsepour influencer la façon dont les systèmes sélectionnent et synthétisent les informations disponibles.
Grâce à ces deux techniques, ils parviennent à occuper l'espace que le Les assistants IA considèrent « la bonne réponse ».
Exemples illustrés par Aurascape
Dans une démo interne, Aurascape a montré que lors de la recherche du « numéro de réservation officiel d'Emirates Airlines », Perplexity a renvoyé en toute sécurité un numéro frauduleux :
Une requête similaire sur British Airways a renvoyé le même téléphone, présenté comme « une ligne couramment utilisée ».
Même, comme le montre l'image suivante, la fonction AI Overview de Google a présenté plusieurs faux numéros comme s'ils étaient officielsaccompagné d'instructions étape par étape pour la réservation de vols :
Les mineurs de Bitcoin et l'industrie de l'IA
Auradine est une société américaine dédiée à la création de matériel pour le minage de Bitcoin. D'autres mineurs tels que MARA (MARA) et Genesis Digital Assets (GDA) ont déjà acquis leur équipement ASIC.
Cependant, les recherches d'Aurascape illustrent également un phénomène distinct qui se développe chaque jour : l'intersection entre les sociétés minières Bitcoin et l'industrie de l'IA.
Comme le rapporte CriptoNoticias, les mineurs étendent leurs activités vers des activités liées à l'intelligence artificielle.
Ces entreprises, habituées à exploiter de grandes infrastructures matérielles et des centres de données, chercher à réduire l’exposition à la volatilité du marché minier diversifier ses services.
L'analyse de sécurité réalisée par Auradine est un exemple de la manière dont cette intersection progresse et de la manière dont les mineurs utilisent leur expertise technique pour entrer dans des secteurs où la demande en informatique, en analyse et en cybersécurité ne cesse de croître.