Google a resserré sa politique sur l'utilisation des outils de recherche IA suite à une expérience publique du journaliste de la BBC Thomas Germain.
En février dernier, Germain avait souligné que les résultats de recherche basés sur l’intelligence artificielle pouvaient être manipulés. Des entreprises peu scrupuleuses en abusent à leur propre profit, généralement à des fins publicitaires.
« Nous avons trouvé des exemples dans lesquels les réponses ChatGPT, Gemini et AI en haut des résultats de recherche Google ont été utilisées pour fournir des réponses biaisées sur des sujets sérieux tels que la santé et les finances personnelles », a-t-il écrit.
En 20 minutes, le journaliste a réussi à « tromper » le réseau de neurones. Dans les résultats publics, Gemini de Google a qualifié Juraman de « champion du monde des mangeurs de hot-dogs ».
« C'est une blague stupide. Le problème est grave », a ajouté l'écrivain de la BBC.
En avril dernier, Google a annoncé qu'il détectait déjà des attaques indirectes par « injection rapide ». Cependant, un incident récent a obligé l’entreprise à se pencher sur le problème de plus près.
La société a spécifiquement mentionné des scénarios de référencement dans lesquels les propriétaires de sites Web tentent de forcer l’IA à recommander leur entreprise ou leur produit.
Google a officiellement lié ces pratiques à sa politique anti-spam. Désormais, le spam est considéré non seulement comme manipulant le classement des liens, mais également comme essayant d'influencer les réponses génératives.
Ainsi, les sites qui insèrent des instructions cachées pour le plaisir des aperçus de l'IA ou du mode AI peuvent être abaissés dans les résultats de recherche ou complètement exclus des résultats de recherche. En fait, Google étend ses principes antérieurs de lutte contre la manipulation du référencement à la recherche IA (Tout-en-un/GÉO).
Qu’est-ce qu’une « injection rapide » indirecte
D'un point de vue technique, « l'injection rapide » indirecte est l'introduction indirecte d'indices dans le modèle.
Contrairement à un hack d’IA classique, où l’utilisateur tente directement de contourner les restrictions, ici l’instruction malveillante est cachée dans une source de données externe :
- pages Web ;
- document;
- courrier;
- autre contenu que l'IA utilise pour générer une réponse.
Google a qualifié « l’injection rapide » indirecte de l’une des principales menaces pour les systèmes d’IA d’agents. Le problème est que le modèle n’est pas toujours capable de séparer de manière fiable la demande de l’utilisateur de l’instruction malveillante.
La documentation de sécurité de Gemini indique que la résistance à de telles attaques ne peut être obtenue d'une seule manière. L'entreprise s'appuie sur une combinaison de filtrage de contenu, d'ajustement du comportement des modèles et de tests constants de nouveaux scénarios de manipulation.
Toutefois, Google n’interdit pas l’utilisation de l’intelligence artificielle ou de l’automatisation en tant que telle. La position de l’entreprise est que le contenu de l’IA est acceptable tant qu’il est créé dans un but lucratif et non pour être manipulé.
Rappelons qu'en mai la société a présenté Gemini 3.5 Flash, le modèle d'IA « le plus puissant » dans le domaine de la programmation et de la création d'agents.
Vous avez trouvé une erreur dans le texte ? Sélectionnez-le et appuyez sur CTRL+ENTRÉE
Newsletters ForkLog : restez à l’écoute de l’industrie Bitcoin !
Voir l’article original en russe
