Le PDG d'Anthropic prévient que l'IA est trop puissante, tout en en lançant une très puissante

Le PDG d'Anthropic prévient que l'IA est trop puissante, tout en en lançant une très puissante

En résumé

  • Dario Amodei a publié un essai appelant à des tests obligatoires par des tiers et à l'autorité gouvernementale pour bloquer les modèles d'IA dangereux.
  • Le PDG a proposé un cadre similaire à celui de la FAA qui exige des audits, une protection du poids et des rapports sur les incidents graves.
  • L'appel réglementaire coïncide avec la semaine où Anthropic a déposé des documents auprès de la SEC pour une introduction en bourse évaluée à 965 milliards de dollars.

Le PDG d'Anthropic, Dario Amodei, a déclaré mercredi que les gouvernements ne pouvaient plus considérer la réglementation de l'IA comme un problème à étudier et que les États-Unis avaient besoin d'exigences de sécurité contraignantes pour les modèles d'IA les plus puissants.

Dans l'essai intitulé «Politique sur l'IA exponentielle», Amodei affirme que les exigences de transparence ne sont plus suffisantes et appelle à une réglementation contraignante des systèmes d'IA frontaliers.

« L'IA progresse à une vitesse vertigineuse : en seulement quatre ans, les modèles d'IA sont passés de la capacité à peine à écrire une ligne de code cohérente à l'écriture de la plupart du code dans les principales sociétés d'IA », a écrit Amodei.

L'essai intervient alors qu'Anthropic étend l'accès à Claude Mythos avec la sortie mardi de Mythos 5, son modèle d'IA à frontière restreinte destiné aux organisations de cybersécurité et aux partenaires gouvernementaux. Des chercheurs, dont l'AI Security Institute du Royaume-Uni, ont déterminé qu'il pouvait exécuter de manière autonome des cyberattaques complexes.

Selon Amodei, sa proposition prend comme référence la structure réglementaire utilisée par la Federal Aviation Administration (FAA).

« Les modèles Frontier AI, comme les avions, devraient subir des tests et des audits techniques, et leur publication devrait être bloquée ou annulée s'ils constituent une menace pour la sécurité publique en ne répondant pas à des normes de sécurité élevées », a-t-il écrit. « J'apprécie que le décret de l'administration Trump évolue progressivement vers un rôle plus important du gouvernement dans l'IA, même si la proposition d'Anthropic recommande d'aller encore plus loin. »

Selon la proposition d'Amodei, le cadre réglementaire exigerait des tests tiers obligatoires pour les modèles d'IA avancés, une autorité gouvernementale pour bloquer les mises en œuvre dangereuses et des exigences pour les entreprises de protéger les poids des modèles, d'effectuer des tests de sécurité et de signaler les incidents graves. Il appelle également les gouvernements à se préparer aux déplacements de main-d’œuvre provoqués par l’IA et les progrès du développement de médicaments, à limiter la surveillance et les armes autonomes dans les services de police nationaux, et à renforcer la coopération entre les nations démocratiques sur les technologies critiques de l’IA.

« Premièrement, les suppressions d'emplois à long terme sont indésirables et dangereuses, et nous devons faire tout notre possible pour les minimiser ou les empêcher, et non les permettre », a-t-il écrit, faisant référence à des occasions précédentes où il avait mis en garde contre les suppressions d'emplois. « Deuxièmement, toute réponse aux suppressions d'emplois provoquées par l'IA doit répondre à la fois à la nécessité d'assurer les moyens de subsistance économiques de chacun et à la nécessité pour les gens de trouver un sens, un but et une capacité d'agir. »

Le procès coïncide également avec la même semaine où Anthropic a publié Claude Fable 5, une version publique de Claude Mythos 5 qui redirige certaines demandes liées à la cybersécurité, à la biologie, à la chimie et au développement de l'IA vers au moins Claude Opus 4.8 capable comme garantie contre une utilisation abusive. La publication a suscité des critiques de la part des développeurs et des chercheurs concernant l'utilisation accrue de jetons par Fable, les exigences obligatoires de conservation des données de 30 jours et les garanties qui peuvent réduire les capacités du modèle sans en informer les utilisateurs.

L'appel d'Amodei à des changements de politique autour du développement de l'IA intervient également alors qu'Anthropic se prépare à entrer en bourse. Plus tôt ce mois-ci, la société a déposé des documents auprès de la Securities and Exchange Commission (SEC) des États-Unis pour une introduction en bourse, après avoir levé un tour de table de série H de 65 milliards de dollars pour une valorisation déclarée de 965 milliards de dollars.

Alors qu’Amodei a présenté la question comme une course entre le progrès technologique et la politique publique, les critiques se sont demandés si les appels à une réglementation plus stricte de l’IA servaient réellement le bien public. En avril, Sam Altman, PDG d'OpenAI, a accusé Anthropic d'utiliser le « marketing basé sur la peur » pour promouvoir Claude Mythos, arguant que les préoccupations concernant l'IA avancée peuvent être utilisées pour justifier la concentration du contrôle de la technologie dans un petit nombre d'entreprises.

« Vous pouvez le justifier de plusieurs manières, et certaines d'entre elles sont réelles, par exemple, il y aura des problèmes de sécurité légitimes », a déclaré Altman. « Mais si ce que vous voulez, c'est » nous avons besoin de contrôler l'IA, seulement nous, parce que nous sommes les personnes de confiance « , je pense que le marketing basé sur la peur est probablement le moyen le plus efficace de le justifier. »

Amodei a rejeté l’idée selon laquelle les préoccupations concernant l’IA avancée sont avant tout une question de relations publiques, arguant plutôt que les craintes concernant la technologie reflètent des préoccupations légitimes qui doivent être prises en compte.

« Les gens s'inquiètent de l'IA parce qu'ils perçoivent correctement que ses risques sont réels, et non pas parce que les PDG de l'IA n'ont pas été suffisamment panglossiens », a-t-il déclaré, faisant référence au philosophe fictif Pangloss de Candide de Voltaire, connu pour maintenir un optimisme inébranlable selon lequel tout va pour le mieux quelles que soient les circonstances.

« Je crois qu'il est de mon devoir en tant que leader de l'IA de continuer à faire preuve de transparence sur ces risques, et l'inquiétude du public face à cette transparence constitue une responsabilité démocratique fonctionnant comme elle le devrait », a-t-il conclu.

Débriefing quotidien Bulletin

Commencez chaque journée avec les principales actualités du moment, ainsi que des fonctionnalités originales, un podcast, des vidéos et bien plus encore.

Voir l’article original en espagnol