Un ancien employé d'OpenAI : le nouveau modèle d'IA pourrait entraîner des « risques d'armes biologiques »

Le nouveau modèle d'IA d'OpenAI, GPT-o1, est le premier à démontrer des capacités qui pourraient aider les experts à reproduire des menaces biologiques connues et nouvelles, a déclaré un ancien employé de l'entreprise aux sénateurs américains cette semaine.

« Le nouveau système d'IA d'OpenAI est le premier système à montrer des progrès dans la lutte contre le risque d'armes biologiques, car il est capable d'aider les experts à planifier la reproduction d'une menace biologique connue », a déclaré William Saunders, ancien membre du personnel technique d'OpenAI, au sous-comité du Comité sénatorial sur la vie privée, la technologie et le droit.

Il a averti que cette capacité comportait un risque potentiel de « dommages catastrophiques » si les systèmes AGI étaient développés sans mesures de protection appropriées.

Les experts ont également témoigné que l’intelligence artificielle évolue si rapidement qu’un modèle potentiellement dangereux, connu sous le nom d’intelligence artificielle générale, se profile à l’horizon. Au niveau de l’IAG, les systèmes d’IA peuvent égaler l’intelligence humaine sur un large éventail de tâches cognitives et apprendre de manière autonome. Si un système d’IA accessible au public peut comprendre la biologie et développer de nouvelles armes sans surveillance appropriée, le risque que des utilisateurs malveillants causent de graves dommages augmente de manière exponentielle.

« Les entreprises d'IA évoluent rapidement vers la création d'un système AGI », a déclaré M. Saunders au Comité sénatorial. « Il est plausible qu'un système AGI puisse être construit en seulement trois ans. »

Helen Toner, qui a également siégé au conseil d'administration d'OpenAI et voté pour le licenciement du cofondateur et PDG Sam Altman, espère voir l'AGI se développer le plus tôt possible. « Même si les estimations à court terme se révèlent fausses, l'idée d'une IA de niveau humain au cours des dix ou vingt prochaines années doit être considérée comme une possibilité réelle qui nécessite désormais des actions préparatoires importantes », a-t-elle déclaré.

Saunders, qui a travaillé chez OpenAI pendant trois ans, a souligné l'annonce récente de la société concernant GPT-o1, un système d'IA qui a « atteint des jalons importants » dans ses capacités. Comme indiqué par DécrypterOpenAI a également déclaré avoir décidé de s'éloigner de l'augmentation numérique traditionnelle des versions GPT, car ce modèle présentait de nouvelles capacités qui le font ressembler non seulement à une mise à niveau, mais à une évolution, un tout nouveau type de modèle avec des capacités différentes.

Saunders s'inquiète également du manque de garanties et de contrôle adéquats dans le développement de l'IA générale. Il a noté que « personne ne sait comment garantir que les systèmes d'IA générale sont sûrs et contrôlés », et a critiqué OpenAI pour sa nouvelle approche du développement de l'IA de manière sûre, se souciant davantage de la rentabilité que de la sécurité.

« Bien qu’OpenAI ait été le pionnier de certains aspects de ces tests, ils ont également donné la priorité au déploiement plutôt qu’à la rigueur », a-t-il averti. « Je pense qu’il existe un risque réel qu’ils passent à côté de capacités importantes et dangereuses dans les futurs systèmes d’IA. »

Le témoignage a également mis en lumière certains des défis internes d'OpenAI, en particulier ceux qui sont apparus après le départ d'Altman. « L'équipe Superalignment d'OpenAI, chargée de développer des approches pour contrôler l'AGI, n'existe plus. Ses dirigeants et de nombreux chercheurs clés ont démissionné après avoir eu du mal à obtenir les ressources dont ils avaient besoin », a-t-il déclaré.

Ses propos ne font qu'ajouter une brique au mur de plaintes et d'avertissements que les experts en sécurité de l'IA ont formulés à propos de l'approche d'OpenAI. Ilya Sutskever, qui a cofondé OpenAI et a joué un rôle clé dans le licenciement d'Altman, a démissionné après la sortie de GPT-4o et a fondé Safe Superintelligence Inc.

Le cofondateur d'OpenAI, John Schulman, et son responsable de l'alignement, Jan Leike, ont quitté l'entreprise pour rejoindre son rival Anthropic, Leike affirmant que sous la direction d'Altman, la sécurité « est passée au second plan par rapport aux produits flashy ».

De plus, les anciens membres du conseil d'administration d'OpenAI, Toner et Tasha McCauley, ont écrit un article d'opinion publié par L'économisteaffirmant que Sam Altman privilégiait les profits au détriment du développement responsable de l'IA, cachant les développements clés au conseil d'administration et favorisant un environnement toxique au sein de l'entreprise.

Dans sa déclaration, Saunders a appelé à une action réglementaire urgente, soulignant la nécessité de garanties claires dans le développement de l'IA, non seulement par les entreprises mais aussi par les entités indépendantes. Il a également souligné l'importance de la protection des lanceurs d'alerte dans le secteur technologique.

L’ancien employé d’OpenAI a souligné les implications plus larges du développement de l’IA générale, notamment le risque de renforcer les inégalités existantes et de faciliter la manipulation et la désinformation. Saunders a également averti que la « perte de contrôle des systèmes d’IA autonomes » pourrait potentiellement entraîner « l’extinction de l’humanité ».

Édité par Josh Quittner et Andrew Hayward