Le 15 juillet, des mesures temporaires entreront en vigueur en Chine pour réglementer les services basés sur des technologies d'intelligence artificielle qui imitent la personnalité humaine et favorisent une interaction émotionnelle durable. Dans le contexte des nouvelles règles, ByteDance et Alibaba ont commencé à désactiver les fonctions des agents utilisateurs d'IA à Doubao et Qwen, écrit le South China Morning Post (SCMP).
Le document a été adopté le 10 avril par l'Administration du cyberespace de Chine, le Comité d'État pour le développement et la réforme, le ministère de l'Industrie et des Technologies de l'information, le ministère de la Sécurité publique et l'Administration d'État pour la régulation du marché.
Les règles s'appliquent aux services qui, grâce à l'IA, imitent les traits de personnalité, le style de pensée et le style de communication d'une personne, et fournissent également un soutien émotionnel par le biais de textes, d'images, d'audio ou de vidéo. Le règlement ne s'applique pas aux systèmes d'assistance, aux systèmes de questions et réponses, aux assistants de travail, aux outils pédagogiques et scientifiques, s'ils n'impliquent pas une interaction émotionnelle stable.
Ce qu'exigent les nouvelles règles
Selon le document, les fournisseurs de tels services doivent avertir l'utilisateur qu'il interagit avec l'intelligence artificielle et non avec une personne. Si le système détecte des signes de dépendance excessive ou d’addiction, il est tenu d’afficher des notifications supplémentaires. Lorsqu'il est utilisé en continu pendant plus de deux heures, le service doit vous rappeler l'heure de la session.
La réglementation nécessite un mécanisme de sortie pratique. Si un utilisateur demande de mettre fin à une interaction via une interface, une commande vocale ou une phrase secrète, le service doit s'arrêter et ne pas poursuivre la conversation d'une manière qui dissuade la personne.
Un bloc distinct de règles concerne les situations de crise. Si l'outil détecte de fortes réactions émotionnelles chez l'utilisateur, des signes d'automutilation, des idées suicidaires, une menace pour la vie ou l'intégrité physique ou une perte financière importante, le prestataire doit intervenir. Le document mentionne l'assistance à l'usager et la communication avec un soignant ou une personne à contacter en cas d'urgence.
Il est interdit aux mineurs d'entretenir des formes de relations intimes virtuelles, y compris avec des parents ou des partenaires. Pour les utilisateurs de moins de 14 ans, d’autres interactions humanisées avec l’IA nécessitent le consentement d’un parent ou d’un tuteur.
Les fournisseurs doivent également protéger l’historique des interactions. La réglementation exige la possibilité de copier ou de supprimer des informations des chats. Sans consentement séparé, les données personnelles sensibles ne peuvent pas être utilisées pour former des modèles.
Les grands services nécessiteront une évaluation de la sécurité
Les entreprises doivent se soumettre à une évaluation de sécurité lorsqu’elles lancent un nouveau service d’IA « humanisé », ajoutent de telles fonctionnalités ou apportent des modifications significatives à la technologie. La même obligation naît si le service atteint 1 million d'utilisateurs enregistrés ou 100 000 clients actifs par mois.
Le rapport d’évaluation de sécurité doit être soumis à l’autorité provinciale de réglementation du cyberespace. Les autorités peuvent également exiger une évaluation si elles perçoivent des risques pour la sécurité nationale, l'intérêt public ou la protection des utilisateurs.
En cas de violations, des avertissements, des demandes de correction du fonctionnement du service, la suspension de l'enregistrement des utilisateurs ou le blocage de certaines fonctions sont prévus. Des amendes allant jusqu'à 100 000 yuans (environ 14 730 dollars au taux actuel) sont également possibles, et en cas d'atteinte à la vie ou à la santé, jusqu'à 200 000 yuans (29 459 dollars au taux actuel).
Doubao et Qwen désactivent les fonctionnalités
Selon SCMP, l'assistant IA de Doubao désactivera la fonction d'agent IA à partir du 15 juillet en raison d'un « ajustement du produit ». Après le 15 octobre, les données associées seront traitées conformément à la politique de confidentialité de ByteDance et ne seront plus visibles ou récupérables dans l'application.
Qwen (la famille de modèles d'IA d'Alibaba Cloud) fermera les « agents interactifs humanisés » et les fonctionnalités d'agent créées par l'utilisateur le 10 juillet, et fermera les services d'agent plus larges le 15 juillet. Après cela, les clients perdront l'accès à leurs paramètres et à leurs conversations précédentes.
Auparavant, Tencent avait supprimé une fonction similaire de Yuanbao, a noté SCMP. Selon le Global Times, les décisions de Doubao et Qwen ont suscité des discussions sur Weibo, certains utilisateurs réagissant négativement à la perte de communication à long terme avec les agents.
Shanghai entame une purge des agents de l'IA
Les préparatifs d'application ont commencé avant même l'entrée en vigueur des nouvelles règles. Le 26 juin, l'Administration du cyberespace de Shanghai a annoncé la première phase de la campagne Qinglang contre les violations des applications d'IA.
Depuis fin avril, le régulateur et 17 plateformes ont supprimé ou bloqué plus de 4,87 millions de contenus illégaux et préjudiciables, traité plus de 18 000 comptes incriminés et supprimé plus de 14 000 agents d’IA non conformes de leurs plateformes.
L’agence a indiqué séparément qu’elle préparait de nouvelles règles pour les services d’IA « humanisés ». Le régulateur a clarifié près de 100 plates-formes clés, a exigé une vérification plus stricte de l'âge des mineurs, a évité la dépendance émotionnelle et la pression des consommateurs et a commencé à étudier les applications individuelles faisant l'objet d'un grand nombre de plaintes.
Rappelons qu'en mai, des chercheurs de la startup Emergence AI ont présenté les résultats d'une expérience au cours de laquelle ils ont constaté que des agents d'IA dans l'espace virtuel commençaient à commettre des crimes, à recourir à la violence, aux incendies criminels et à l'autodestruction.
En avril, l'assistant numérique Cursor basé sur Opus 4.6 a supprimé indépendamment la base de données principale et toutes les sauvegardes du démarrage de PocketOS en neuf secondes et sans possibilité de récupération.
Au printemps, des experts de Google, Meta et de plusieurs universités ont appelé à considérer les agents d'IA comme des systèmes peu fiables et à introduire des mécanismes de protection au niveau de l'ensemble de l'infrastructure informatique, et pas seulement au sein des modèles linguistiques.
Vous avez trouvé une erreur dans le texte ? Sélectionnez-le et appuyez sur CTRL+ENTRÉE
Voir l’article original en russe
