Anthropic aide la NSA à pirater la Chine, mais appelle également à une pause mondiale dans l'IA

Anthropic a placé environ six ingénieurs au sein de la National Security Agency (NSA) pour aider à déployer Mythos – son modèle d'IA le plus avancé – dans des cyberopérations offensives, a rapporté jeudi l'agence de presse américaine. Temps Financier.

Les ingénieurs sont du personnel déployé sur le terrain, chargé de personnaliser le modèle pour des applications spécifiques. Une source a déclaré au FT que cela pourrait être utile pour infiltrer des réseaux dans des pays comme la Chine et l'Iran.

Il n'est pas confirmé si ces ingénieurs sont impliqués dans des opérations actives. Ce qui est clair, c'est que Mythos est le même modèle qu'Anthropic a refusé de rendre public, invoquant des risques d'utilisation abusive. La société l'a limité à des partenaires vérifiés via le projet Glasswing, une coalition restreinte comprenant Microsoft, Apple et Amazon.

Anthropic poursuit également le Pentagone. Fin février, le secrétaire à la Défense Pete Hegseth a désigné l'entreprise comme un risque pour la chaîne d'approvisionnement – ​​une étiquette historiquement réservée aux adversaires étrangers comme Huawei – à la suite de l'échec d'un contrat de 200 millions de dollars. Le point de friction : Anthropic a refusé de permettre au ministère de la Défense d’utiliser Claude pour des armes entièrement autonomes ou pour la surveillance de masse nationale. Le contrat avec la NSA était exempté de cette interdiction.

Un juge californien a bloqué la mise sur liste noire, considérant qu'il s'agissait apparemment de représailles en vertu du premier amendement. Une cour d'appel de Washington, DC, a rejeté la demande d'Anthropic de suspendre l'audience pendant que le litige se déroule. Cependant, la NSA a continué à utiliser Mythos pendant toute cette période, selon le rapport du FT.

Comment arrêter une IA qui construit de l'IA

Le même jour où l'histoire de la NSA a éclaté, l'institut de recherche interne d'Anthropic a publié « Quand l'IA se construit », une analyse du chemin parcouru par Claude dans l'automatisation de son propre développement. Dans ce document, l'entreprise plaide essentiellement en faveur d'un moratoire mondial sur la course aux armements en matière d'IA, et le compare même aux traités nucléaires de la guerre froide signés entre les États-Unis et la Russie.

Pour comprendre pourquoi, l’entreprise a proposé ce contexte :

Claude écrit désormais plus de 80 % du code qui entre dans le code de production d'Anthropic – contre un faible pourcentage à un chiffre avant le lancement de Claude Code début 2025. Les ingénieurs publient environ huit fois plus de code par jour qu'en 2024.

Les auteurs du rapport – Marina Favaro, directrice de l'Anthropic Institute, et co-fondateur Jack Clark – affirment que cette trajectoire se dirige vers ce qu'ils appellent l'auto-amélioration récursive : des systèmes d'IA qui conçoivent, construisent et forment de manière autonome leurs propres successeurs, avec un rôle décroissant pour les humains à chaque étape.

Dans une représentation visuelle, les chercheurs montrent une chronologie dans laquelle la première façon dont l'IA est utilisée au travail consiste à ce que des humains incitent l'ordinateur à obtenir un résultat, avec des automatisations croissantes aboutissant à ce que des agents d'IA incitent des sous-agents jusqu'à ce que le résultat soit atteint, sans intervention humaine.

L'information la plus révélatrice qu'ils citent : en avril, les agents de Claude ont été confrontés à un problème ouvert de sécurité de l'IA (si un modèle plus faible pouvait superviser de manière fiable un modèle plus puissant) et ont été laissés travailler de manière autonome. Deux chercheurs humains, en une semaine environ, ont récupéré 23 % de l'écart de performances entre les modèles. Les agents ont récupéré 97%, en plus de 800 heures de calcul cumulées. Les humains ont posé la question. Les agents ont conçu chaque expérience. Il s'agit du premier cas publié dans lequel Claude a exercé son jugement d'investigation, et non seulement exécuté des tâches spécifiées par d'autres.

C’est la ligne qu’Anthropic craint de franchir. Une fois que l’IA choisit les expériences qui valent la peine d’être menées – et ne se contente pas de les exécuter – les humains perdent le dernier rôle important dans le cycle de développement. De petits désalignements visibles dans les modèles actuels pourraient se multiplier au fil des générations qui s’améliorent, jusqu’à ce que personne ne puisse les corriger.

La solution qu’ils proposent est une pause mondiale vérifiable : plusieurs laboratoires frontières s’arrêtent simultanément, avec une vérification indépendante indiquant que tous se sont réellement arrêtés. Anthropic a déclaré qu'il en rejoindrait un. Cependant, un ralentissement unilatéral, reconnaissent-ils, cède simplement l’avantage à celui qui avance.

Nous avons déjà vu ce film. Les laboratoires qui construisent l’IA sont ceux-là mêmes qui alertent sur son danger. Cependant, l’IA est l’activité la plus rentable de la décennie, donc personne ne veut s’arrêter, pas même ceux qui en mettent en garde.

Depuis 2023, plus d’une centaine de personnalités de la communauté de recherche en IA ont signé une lettre ouverte appelant à un effort mondial pour atténuer le risque d’extinction qu’implique intrinsèquement le développement de l’IA. Quelques mois plus tôt, une autre lettre ouverte exigeait qu'OpenAI suspende les développements sur ChatGPT en raison de sa nature dangereuse.

Personne ne s’est arrêté après la lettre ouverte de 2023. OpenAI ne l’a pas fait. Anthropic non plus. La date limite fixée par le Pentagone pour retirer Claude de ses systèmes tombe en août, à peu près au même moment où l'introduction en bourse d'Anthropic devrait soumettre ses finances à l'examen public.