Le patron d'Anthropic appelle à une surveillance plus stricte des modèles d'IA

Le patron d'Anthropic appelle à une surveillance plus stricte des modèles d'IA

Les États-Unis doivent resserrer leur approche en matière de réglementation de l’intelligence artificielle et passer d’un régime de divulgation à des contrôles de sécurité obligatoires pour les modèles d’IA les plus puissants. Le PDG d'Anthropic, Dario Amodei, a fait cette proposition dans son essai.

Selon lui, il est temps de passer de la transparence à une réglementation plus sérieuse et plus obligatoire de l’IA. Parallèlement à l'essai, Anthropic a présenté deux documents : le Advanced AI Framework sur la supervision des modèles frontières et le Economic Policy Framework sur la préparation de l'économie au déplacement éventuel des travailleurs de l'IA.

Contrôles externes et droits de blocage

Amodei a proposé d'introduire des tests obligatoires pour les modèles dépassant un certain seuil en termes de ressources informatiques. Dans le cadre d'Anthropic, nous parlons de systèmes entraînés à l'aide de plus de 10²⁵ opérations à virgule flottante si le développeur gagne plus de 500 millions de dollars par an en IA ou dépense plus d'un milliard de dollars en recherche et développement dans ce domaine.

Les contrôles, selon son plan, doivent être effectués par un organisme externe qualifié. Les tests doivent couvrir quatre catégories de risques :

  • la cybersécurité ;
  • création d'armes biologiques;
  • perte de contrôle sur les systèmes d’IA ;
  • recherche et développement automatisés qui peuvent accélérer ces menaces.

Si l'évaluation révèle un risque inacceptable, les autorités devraient avoir le droit de bloquer le lancement ou de retarder le déploiement du modèle.

Amodei a comparé le régime proposé à la surveillance de l'aviation :

« Les modèles d’IA les plus puissants, comme les avions, doivent subir des tests techniques et des audits. »

Par ailleurs, il est proposé d'exiger des développeurs qu'ils protègent les poids des modèles et l'infrastructure de formation, effectuent régulièrement des audits de sécurité, publient des rapports sur les risques et signalent rapidement les incidents graves.

Marché du travail : de la reconversion au revenu de base

Dans son essai, Amodei avertit que l’IA pourrait provoquer des perturbations plus importantes et plus durables sur le marché du travail que les changements technologiques passés. Trois scénarios sont probables : un chômage autour de 5 %, 10 % et un niveau sans précédent.

Parmi les mesures possibles, il a cité l’amélioration de la collecte de données sur le déplacement des travailleurs, les incitations au maintien dans l’emploi, les programmes de reconversion et, dans un scénario plus grave, une aide au revenu à long terme, y compris un revenu de base inconditionnel.

Selon le document de l'entreprise, Anthropic contribuera 200 millions de dollars au Fonds de recherche sur l'avenir économique pour la recherche et l'évaluation des politiques économiques, et créera également un programme national de bourses de 150 millions de dollars pour les professionnels en début de carrière.

Libertés civiles

Amodei a consacré une section distincte de son essai aux libertés civiles. Il a proposé d’établir des règles de responsabilité pour les armes entièrement autonomes, d’interdire leur utilisation aux États-Unis et de combler l’échappatoire liée à l’achat de données auprès de courtiers à des fins de surveillance de masse.

Une autre idée est de garantir que les citoyens aient accès à une IA aussi performante que celle que le gouvernement utilise contre eux dans le cadre de procédures réglementaires ou judiciaires. Selon Amodei, sans un tel équilibre, l’IA pourrait accroître l’avantage des autorités.

L'essai intervient un jour après le lancement de Claude Fable 5 et Claude Mythos 5. Anthropic a qualifié Fable 5 de plus puissant de ses modèles accessibles au public, et Mythos 5 une version du même modèle de base avec des restrictions assouplies dans certains domaines pour un nombre limité de partenaires du projet Glasswing.

Rappelons qu'en juin, les membres de l'équipe Anthropic ont vu des signes d'auto-amélioration récursive de l'IA. L'entreprise a admis que la société pourrait avoir besoin d'un mécanisme pour ralentir le développement de modèles avancés afin que les institutions et la recherche en matière de sécurité puissent suivre les progrès.

Abonnez-vous à ForkLog sur les réseaux sociaux

Vous avez trouvé une erreur dans le texte ? Sélectionnez-le et appuyez sur CTRL+ENTRÉE

Voir l’article original en russe