X restreint la génération d’images Grok après les critiques internationales concernant les deepfakes sexuels

X restreint la génération d’images Grok après les critiques internationales concernant les deepfakes sexuels

En résumé

  • X a limité les fonctionnalités d'imagerie de Grok aux utilisateurs payants uniquement à la suite de rapports d'images sexualisées de mineurs créées par l'IA.
  • Le procureur général de Californie, Rob Bonta, a annoncé une enquête sur xAI pour violation des lois sur l'image intime non consensuelle et l'exploitation des enfants.
  • Les régulateurs en Europe, en Australie et au Royaume-Uni ont ouvert des enquêtes sur Grok, tandis que l'Indonésie et la Malaisie ont bloqué le service pour protéger les mineurs.

X a déclaré qu'il restreignait les fonctions de génération et d'édition d'images liées à Grok, limitant ainsi l'accès aux utilisateurs payants après que le chatbot ait été utilisé pour créer des images sexualisées non consensuelles de personnes réelles, y compris des mineurs.

Dans une mise à jour publiée mercredi par le compte X Safety, la société a ajouté des restrictions techniques pour limiter la manière dont les utilisateurs peuvent modifier des images de personnes réelles via Grok.

Cette décision faisait suite à des informations selon lesquelles l'IA générait des images sexualisées en réponse à des invites simples, notamment des demandes de placer des personnes en bikini. Dans de nombreux cas, les utilisateurs ont marqué Grok directement sous les photos publiées sur X, ce qui a amené l'IA à générer des images modifiées qui sont apparues publiquement dans les mêmes fils de discussion.

« Nous avons mis en œuvre des mesures technologiques pour empêcher le compte de Grok de permettre l'édition d'images de personnes réelles révélant des vêtements tels que des bikinis », a déclaré la société, faisant référence à la tendance virale consistant à demander à Grok de mettre les gens en bikini.

La société a également déclaré que la création et l'édition d'images via le compte Grok sur

« Nous géobloquons désormais la capacité de tous les utilisateurs à générer des images de personnes réelles en bikini, sous-vêtements et vêtements similaires via le compte Grok et sur Grok sur X dans les juridictions où cela est illégal. »

Cependant, malgré les changements, Grok continue de permettre aux utilisateurs de retirer ou de modifier les vêtements des photos téléchargées directement sur l'IA, selon les tests. Décrypter et les rapports des utilisateurs après l'annonce.

Dans certains cas, Grok a reconnu des « échecs en matière de sauvegarde » après avoir généré des images de filles âgées de 12 à 16 ans portant des vêtements minimes, une conduite interdite par les propres politiques de l'entreprise. La disponibilité continue de ces capacités a attiré l’attention des groupes de défense.

« Si les informations selon lesquelles Grok a créé des images sexualisées, en particulier celles d'enfants, sont vraies, la loi du Texas pourrait avoir été violée », a déclaré Adrian Shelley, directeur de Public Citizen au Texas, dans un communiqué. « Les autorités texanes n'ont pas besoin de chercher bien loin pour enquêter sur ces allégations.

Public Citizen avait précédemment demandé au gouvernement américain de retirer Grok de sa liste de modèles d'IA acceptables en raison de préoccupations concernant le racisme manifesté par le chatbot.

Réaction mondiale

Les décideurs politiques mondiaux ont également accru leur surveillance de Grok, ce qui a conduit à plusieurs enquêtes ouvertes.

La Commission européenne a déclaré que X et xAI pourraient faire l'objet de mesures coercitives en vertu de la loi sur les services numériques si les garanties à Grok restaient insuffisantes. Dans le même temps, le commissaire australien à la sécurité électronique a noté que les plaintes liées à Grok et aux images sexuelles non consensuelles générées par l'IA ont doublé depuis la fin de 2025. Le régulateur a ajouté que les outils d'imagerie par l'IA capables de produire des modifications réalistes compliquent la conformité et la protection des victimes.

Au Royaume-Uni, les régulateurs de l'Ofcom ont ouvert une enquête sur X en vertu de la loi sur la sécurité en ligne, suite à l'utilisation de Grok pour générer des images deepfake illégales et sexualisées, y compris celles impliquant des mineurs. Les responsables ont déclaré que l'Ofcom pourrait éventuellement demander des mesures judiciaires qui bloqueraient effectivement le service au Royaume-Uni si X s'avérait non conforme et ne prenait pas de mesures correctives.

D'autres pays, dont la Malaisie, l'Indonésie et la Corée du Sud, ont également ouvert des enquêtes sur Grok dans le but de protéger les mineurs.

Tandis que les États américains surveillent la situation, la Californie est la première à ouvrir une enquête sur Grok. Mercredi, le procureur général de Californie, Rob Bonta, a annoncé une enquête sur xAI et Grok pour la création et la diffusion d'images sexuellement explicites non consensuelles de femmes et d'enfants.

« L'avalanche de rapports détaillant le matériel sexuellement explicite non consensuel que xAI a produit et publié en ligne ces dernières semaines est choquante. Ce matériel, représentant des femmes et des enfants dans des situations nues et sexuellement explicites, a été utilisé pour harceler des personnes en ligne », a déclaré Bonta dans un communiqué.

L'enquête examinera si le déploiement de Grok par xAI a violé les lois de l'État régissant les images intimes non consensuelles et l'exploitation sexuelle des enfants.

« J'exhorte xAI à prendre des mesures immédiates pour garantir que cela n'aille pas plus loin », a ajouté Bonta. « Nous avons une tolérance zéro pour la création et la diffusion basées sur l'IA d'images intimes non consensuelles ou de matériel d'abus sexuel sur des enfants. »

Malgré les enquêtes en cours, X a déclaré adopter une position de « tolérance zéro » en matière d'exploitation sexuelle des enfants, de nudité non consensuelle et de contenu sexuel non désiré.

« Nous prenons des mesures pour supprimer les contenus violant les plus hautes priorités, y compris les contenus pédopornographiques (CSAM) et la nudité non consensuelle, en prenant les mesures appropriées contre les comptes qui violent nos règles de X », a écrit la société. « Nous signalons également les comptes recherchant du matériel sur l'exploitation sexuelle des enfants aux autorités chargées de l'application de la loi, si nécessaire. »

Débriefing quotidien Bulletin

Commencez chaque journée avec les principales actualités du moment, ainsi que des fonctionnalités originales, un podcast, des vidéos et bien plus encore.

Voir l’article original en espagnol