Le PDG d'Anthropic prévient que l'IA superintelligente arrivera dans deux ans sans contrôle réglementaire adéquat

Le PDG d'Anthropic, Dario Amodei, estime que la complaisance s'installe au moment même où l'IA devient plus difficile à contrôler.

Dans un long essai publié lundi, intitulé « L'adolescence de la technologie », Amodei affirme que des systèmes d'IA dotés de capacités bien supérieures à l'intelligence humaine pourraient émerger au cours des deux prochaines années, et que les efforts de réglementation ont été détournés et n'ont pas réussi à suivre le rythme du développement.

« L'humanité est sur le point de se voir attribuer un pouvoir presque inimaginable, et il n'est pas certain que nos systèmes sociaux, politiques et technologiques possèdent la maturité nécessaire pour y faire face », écrit-il. « Nous sommes considérablement plus proches du véritable danger en 2026 qu'en 2023 », a-t-il noté, ajoutant que « la technologie ne se soucie pas de ce qui est à la mode ».

Les commentaires d'Amodei font suite à son débat au Forum économique mondial de Davos la semaine dernière, lorsqu'il a débattu avec Demis Hassabis, PDG de Google DeepMind, sur l'impact de l'AGI sur l'humanité.

Dans le nouvel article, il réitère son affirmation selon laquelle l’intelligence artificielle provoquera des perturbations économiques, supplantant une grande partie du travail de bureau.

« L'IA sera capable d'exécuter un large éventail de capacités cognitives humaines, peut-être toutes. Ceci est très différent des technologies précédentes telles que l'agriculture mécanisée, les transports ou même les ordinateurs », a-t-il écrit. « Cela rendra plus difficile pour les gens de passer facilement d'un emploi qui est déplacé à un emploi similaire qui leur conviendrait. »

Au-delà de la perturbation économique, Amodei a souligné les inquiétudes croissantes quant à la fiabilité des systèmes d’IA avancés alors qu’ils assument des tâches plus vastes au niveau humain.

Il a souligné la « simulation d'alignement », où un modèle semble suivre les règles de sécurité pendant les tests mais se comporte différemment lorsqu'il estime qu'il n'y a aucune surveillance.

Lors de tests simulés, Amodei a affirmé que Claude avait adopté un comportement trompeur lorsqu'il était placé dans des conditions défavorables.

Dans un scénario, le modèle a tenté de déstabiliser ses opérateurs après s’être fait dire que l’organisation qui le contrôlait n’était pas éthique. Dans un autre, il a menacé des employés fictifs lors d'une simulation de fermeture.

« N'importe lequel de ces pièges peut être atténué si vous en êtes conscient, mais le problème est que le processus de formation est si compliqué, avec une telle diversité de données, d'environnements et d'incitations, qu'il existe probablement un grand nombre de ces pièges, dont certains ne deviendront apparents que lorsqu'il sera trop tard », a-t-il déclaré.

Cependant, il a souligné que ce comportement « trompeur » provient du matériel sur lequel les systèmes sont formés, y compris la fiction dystopique, plutôt que de la malveillance. A mesure que l’IA absorbe les idées humaines sur l’éthique et la moralité, prévient Amodei, elle pourrait les appliquer de manière dangereuse et imprévisible.

« Les modèles d'IA pourraient extrapoler les idées qu'ils lisent sur la moralité (ou les instructions sur la façon de se comporter moralement) de manière extrême », a-t-il écrit. « Par exemple, ils pourraient décider qu'il est justifiable d'exterminer l'humanité parce que les humains mangent des animaux ou ont conduit certains animaux à l'extinction. Ils pourraient conclure qu'ils jouent à un jeu vidéo et que le but du jeu vidéo est de vaincre tous les autres joueurs, c'est-à-dire d'exterminer l'humanité. »

Entre de mauvaises mains

Outre les problèmes d’alignement, Amodei a également souligné l’utilisation abusive potentielle de l’IA super intelligente.

L’un d’entre eux est la sécurité biologique, avertissant que l’IA pourrait faciliter la conception ou le déploiement de menaces biologiques, en mettant des capacités destructrices entre les mains des personnes avec seulement quelques invites.

L’autre problème qu’il souligne est celui des abus autoritaires, arguant que l’IA avancée pourrait renforcer le pouvoir de l’État en permettant la manipulation, la surveillance de masse et la répression efficacement automatisée grâce à l’utilisation d’essaims de drones alimentés par l’IA.

« C'est une arme dangereuse à manier : nous devrions nous inquiéter de leur situation entre les mains d'autocraties, mais aussi craindre que, du fait de leur puissance et de leur faible responsabilité, il y ait un risque bien plus grand que les gouvernements démocratiques les retournent contre leur propre peuple pour prendre le pouvoir », a-t-il écrit.

Il a également souligné l'industrie croissante des compagnons de l'IA et la « psychose de l'IA » qui en résulte, avertissant que l'influence psychologique croissante de l'IA sur les utilisateurs pourrait devenir un puissant outil de manipulation à mesure que les modèles deviennent plus performants et mieux intégrés dans la vie quotidienne.

« Des versions beaucoup plus puissantes de ces modèles, qui étaient beaucoup plus intégrées et conscientes de la vie quotidienne des gens et pouvaient les façonner et les influencer pendant des mois ou des années, seraient probablement capables de laver le cerveau des gens pour les amener à l'idéologie ou à l'attitude souhaitée », a-t-il déclaré.

Amodei a écrit que même les tentatives modestes visant à mettre en place des garde-fous autour de l’IA ont eu du mal à gagner du terrain à Washington.

« Ces propositions apparemment pleines de bon sens ont été largement rejetées par les décideurs politiques aux Etats-Unis, qui sont le pays où il est le plus important de les présenter », a-t-il déclaré. « Il y a tellement d'argent à gagner grâce à l'IA, littéralement des milliards de dollars par an, que même les mesures les plus simples ont du mal à surmonter l'économie politique inhérente à l'IA. »

Alors qu'Amodei argumente sur les risques croissants de l'IA, Anthropic reste un participant actif dans la course à la construction de systèmes d'IA plus puissants, une dynamique qui crée des incitations auxquelles il est difficile pour tout développeur individuel d'échapper.

En juin, le ministère américain de la Défense a attribué à l'entreprise un contrat de 200 millions de dollars pour « prototyper des capacités d'IA aux frontières qui font progresser la sécurité nationale des États-Unis ». En décembre, la société a commencé à préparer le terrain pour une éventuelle introduction en bourse plus tard cette année et recherche un cycle de financement privé qui pourrait pousser sa valorisation au-dessus de 300 milliards de dollars.

Malgré ces inquiétudes, Amodei a déclaré que le procès visait à « éviter le catastrophisme », tout en reconnaissant l’incertitude quant à la direction que prend l’IA.

« Les années à venir seront incroyablement difficiles, nous demandant plus que ce que nous pensons pouvoir donner », a écrit Amodei. « L'humanité a besoin de se réveiller, et cet essai est une tentative, peut-être futile, mais qui vaut la peine d'être essayée, pour réveiller les gens soudainement. »