Deepfakes Porn : la dernière menace d’abus sexuels numérisés par l’IA

Début septembre 2023 Le président de la Securities and Exchange Commission des États-Unis, Gary Gensler, a déclaré que les deepfakes représentent un «risque réel« pour les marchés.

Les deepfakes, fausses vidéos ou images générées par l’intelligence artificielle (IA) mais qui semblent authentiques à première vue, peuvent être utilisés pour représenter des investisseurs de premier plan et même des régulateurs comme Gensler, donnant l’impression que ces personnalités influentes disent des choses susceptibles de affecter des éléments des marchés financiers. Dans ces cas-là, les créateurs de deepfakes profitent du fait qu’ils parviennent à influencer le marché grâce à cette tromperie.

Même si le potentiel de turbulences sur les marchés est important, la menace des deepfakes s’étend bien au-delà. Le cabinet comptable mondial KPMG a constaté une augmentation drastique des escroqueries destiné aux entreprises de tous types utilisant du matériel deepfake. Ces risques et d’autres ont conduit les chercheurs en cybersécurité à rechercher frénétiquement des solutions. façons d’arrêter à des acteurs malveillants armés de ces outils puissants. Les Deepfakers ont créé des vidéos truquées de célébrités, de politiciens et de nombreuses autres personnes, souvent pour le plaisir, mais aussi fréquemment pour propager de fausses informations ou pire encore.

L’impact négatif le plus important des deepfakes dans les premiers stades de développement a peut-être été sur les personnes qui sont devenues la cible de cette technologie. Escroqueries par extorsion Ils prolifèrent dans des domaines variés et avec des stratégies différentes. Une proportion importante de ces fraudes implique l’utilisation de la technologie des deepfakes pour créer des images ou des vidéos sexuellement explicites de personnes réticentes. Les fraudeurs peuvent exiger un paiement de la part de la personne réelle, menaçant de diffuser le faux contenu si la personne ne s’y conforme pas. Cependant, les menaces associées aux deepfakes et aux contenus explicites s’étendent bien au-delà.

Pour de nombreuses personnes travaillant dans les domaines de la cybersécurité, de la justice sociale, du droit à la vie privée et d’autres domaines, la pornographie deepfake est l’une des plus grandes menaces émergentes à l’ère de l’IA. En 2019, 96 % de tous les deepfakes en ligne étaient de la pornographie. Ci-dessous, nous examinons de plus près ce phénomène.

Une histoire de manipulation d’images

Les deepfakes ne sont pas la première technologie permettant de manipuler les images d’autres personnes sans leur consentement. Photoshop est depuis longtemps une technologie omniprésente, et la pratique consistant à truquer des images remonte à des décennies avant l’invention de ce logiciel. La technologie Deepfake elle-même a plus de 25 ans, même si ce n’est que ces dernières années que le développement rapide de l’intelligence artificielle a considérablement réduit le temps nécessaire à la création d’un deepfake, tout en se rapprochant beaucoup plus de l’indétectable pour le public. observateur moyen.

La facilité d’utilisation de la technologie deepfake pour créer du contenu pornographique s’est accrue grâce au nombre croissant d’outils utilisés et disponibles gratuitement en ligne, qui ont contribué à aggraver considérablement le problème. Une recherche en ligne révèle de nombreuses histoires de personnes qui ont été victimes de ce type d’attaques. La plupart des personnes touchées par les pornographes deepfakes sont des streameuses qui ne créent ni ne partagent de contenu explicite.

Plus tôt cette année, la célèbre streameuse QTCinderella a découvert que son image avait été utilisée dans du contenu explicite généré par l’IA à son insu et sans son consentement. Un autre streamer bien connu, Atrioc, a admis avoir vu le contenu et partagé des informations sur le site Web sur lequel il a été publié. Depuis lors, QTCinderella a travaillé avec un éminent avocat e-sport de faire supprimer le site Web, et Atrioc a publié plusieurs déclarations indiquant son intention de travailler à la suppression plus large de ce type de contenu.

Problèmes de consentement

Beaucoup soutiennent que la pornographie deepfake est la dernière itération de sexualisation non consensuelle, suivant une longue tendance bien que mieux positionnée pour une diffusion généralisée en raison à la fois de la puissance de la technologie deepfake et de sa facilité d’utilisation. À partir de là, quelqu’un qui crée des images deepfake explicites d’une autre personne sans le consentement de cette personne commet un acte de violence sexuelle contre cette personne.

Les récits des survivants de ces attaques, presque entièrement des femmes, confortent cette classification. Il est déjà documenté que les victimes de deepfake porn éprouvent régulièrement des sentiments d’humiliation, de déshumanisation, de peur, d’anxiété, etc. Les conséquences peuvent également être physiques, avec de nombreuses histoires de visites à l’hôpital, de réactions traumatisantes et même d’idées suicidaires alimentées par les deepfakes. Les victimes ont perdu leur emploi, leurs moyens de subsistance, leurs amis, leur famille et bien plus encore, tout cela parce qu’un deepfake qui semblait réel a été partagé.

Pour beaucoup, les problèmes liés à la pornographie deepfake représentent peut-être le pire d’un problème beaucoup plus vaste lié à l’IA en général : parce que l’IA générative est formée à l’aide de données qui contiennent un certain nombre de préjugés, de préjugés et de généralisations, le contenu produit par ces systèmes d’IA partage également ceux-ci. caractéristiques négatives.

Il est par exemple reconnu depuis longtemps que Les outils d’IA sont souvent prédisposés à créer du contenu raciste. De même, l’IA générative à elle seule est également susceptible de créer du contenu hautement sexualisé. Lorsqu’elle est combinée avec des acteurs malveillants qui cherchent à nuire aux autres ou qui font simplement passer leur propre satisfaction avant la vie privée et le bien-être des autres, la situation devient très dangereuse.

Avec certains contenus deepfakes, il y a une double violation du consentement. Une façon de créer du contenu deepfake explicite consiste à utiliser du matériel pornographique préexistant et à superposer sans le savoir le visage ou toute autre ressemblance d’une victime sur ce matériel. En plus de nuire à cette personne, le deepfake viole également la vie privée de l’artiste adulte d’origine, puisqu’il ne recherche pas non plus le consentement de cette personne. Le travail de cet artiste est également dupliqué et distribué sans compensation, reconnaissance ou attribution.

Cependant, certains ont estimé que le consentement n’était pas pertinent lorsqu’il s’agissait de deepfakes de toute sorte, y compris les contenus pornographiques. Ceux qui soutiennent cet argument suggèrent souvent que les gens ne sont pas maîtres de leurs propres similitudes. « Je peux prendre une photo de toi et en faire ce que je veux, pourquoi ne puis-je pas utiliser cette nouvelle technologie pour faire efficacement la même chose ? » C’est un argument courant.

Lois et règlements

Comme pour une grande partie de l’espace de l’IA, la technologie du secteur des deepfakes se développe beaucoup plus rapidement que les lois qui réglementent ces outils.

En février 2023, seuls trois États américains disposaient de lois traitant spécifiquement des contenus pornographiques deepfakes. Les entreprises développant ces technologies n’ont pas fait grand-chose pour limiter l’utilisation d’outils deepfake pour générer du contenu explicite. Cela ne veut pas dire que c’est le cas de tous les outils de ce type.

Dall-E, le système d’IA de génération d’images populaire, dispose de plusieurs protections. Par exemple : OpenAI, la société qui a développé Dall-E, a limité l’utilisation d’images nues dans le processus d’apprentissage de l’outil ; il est interdit aux utilisateurs de faire certaines demandes ; les sorties sont numérisées avant d’être révélées à l’utilisateur. Mais les opposants au deepfake porn affirment que ces protections ne suffisent pas et que les acteurs malveillants peuvent facilement trouver des moyens de les contourner.

Le Royaume-Uni est un exemple de pays qui a travaillé rapidement pour criminaliser certains aspects de l’industrie florissante du deepfake porno. Ces derniers mois, le pays a pris des mesures pour rendre illégal le partage de fausses images intimes.

Jusqu’à présent, le gouvernement fédéral américain n’a adopté aucune législation similaire. Cela signifie qu’à ce jour, la plupart des victimes de deepfake porn n’ont aucun recours pour remédier au problème ou recevoir une indemnisation.

Outre les questions évidentes de consentement et de violence sexuelle, l’attaque contre un artiste adulte dont l’image est utilisée dans la création de contenu explicite et deepfake pourrait offrir une autre voie pour aborder cette question d’un point de vue juridique. Après tout, si un créateur de deepfake utilise l’image d’un artiste adulte sans consentement, attribution ou compensation, on pourrait affirmer que le créateur vole le travail de l’artiste et exploite le travail de cette personne.

La pornographie deepfake présente des similitudes avec un autre phénomène récent impliquant des contenus explicites non consensuels : la vengeance pornographique. La manière dont les législateurs et les entreprises ont travaillé pour lutter contre ce phénomène pourrait ouvrir la voie à la lutte contre la pornographie deepfake.

En 2020, 48 États et Washington, DC avaient criminalisé la vengeance pornographique. Les grandes entreprises technologiques, notamment Meta Platforms et Google, ont mis en œuvre des politiques pour restreindre ceux qui distribuent ou hébergent du contenu pornographique de vengeance.

Certes, la vengeance pornographique reste un problème majeur aux États-Unis et à l’étranger. Mais un vaste travail visant à freiner sa propagation pourrait indiquer que des efforts similaires seront déployés pour réduire le problème des deepfakes.

L’IA elle-même est un outil prometteur dans la lutte contre la pornographie générée par l’IA. Il existe une technologie pour détecter les images qui ont été manipulées numériquement avec une précision de 96%. Cette technologie pourrait être utilisée pour analyser, identifier et finalement contribuer à supprimer le contenu explicite basé sur l’IA, contribuant ainsi à réduire considérablement la distribution de ce matériel.