En résumé
- Eliezer Yudkowsky a averti que les systèmes d'IA sont des boîtes noires non sécurisées et a soutenu que si quelqu'un construit une AGI, tout le monde mourra.
- Max More a fait valoir que l'AGI pourrait aider à prévenir l'extinction due au vieillissement et a averti qu'un confinement excessif conduirait à des contrôles autoritaires.
- Anders Sandberg a raconté qu'il avait presque utilisé un LLM pour concevoir une arme biologique et a proposé qu'une sécurité approximative soit suffisante pour atténuer les risques.
Un vif débat sur l’avenir de l’intelligence artificielle s’est déroulé cette semaine alors que quatre éminents technologues et transhumanistes se demandaient si la construction de l’intelligence artificielle générale, ou AGI, sauverait l’humanité ou la détruirait.
Le panel organisé par l'organisation à but non lucratif Humanity+ a réuni l'un des « prédicteurs de la fin du monde » les plus virulents de l'IA, Eliezer Yudkowsky, qui a appelé à l'arrêt du développement de l'IA avancée, aux côtés du philosophe et futuriste Max More, du neuroscientifique informatique Anders Sandberg et de la présidente émérite de Humanity+, Natasha Vita-More.
Leur discussion a révélé des désaccords fondamentaux sur la question de savoir si l’AGI peut être alignée sur la survie humaine ou si sa création rendrait l’extinction inévitable.
Le problème de la « boîte noire »
Yudkowsky a averti que les systèmes d’IA modernes sont fondamentalement peu sûrs car leurs processus décisionnels internes ne peuvent pas être entièrement compris ou contrôlés.
« Tout ce qui constitue une boîte noire finira probablement par poser des problèmes remarquablement similaires à ceux de la technologie actuelle », a prévenu Yudkowsky. Il a fait valoir que l’humanité devrait s’éloigner « très, très loin des paradigmes actuels » avant de pouvoir développer en toute sécurité une IA avancée.
L'intelligence artificielle générale fait référence à une forme d'IA capable de raisonner et d'apprendre dans un large éventail de tâches, plutôt que d'être conçue pour une seule tâche telle que la génération de texte, d'images ou de vidéos. L’AGI est souvent associée à l’idée de singularité technologique, car atteindre ce niveau d’intelligence pourrait permettre aux machines de s’améliorer plus rapidement que les humains ne peuvent suivre.
Yudkowsky a souligné l'analogie du « maximiseur de trombones » popularisée par le philosophe Nick Bostrom pour illustrer le risque. L’expérience de pensée présente une IA hypothétique qui convertit toute la matière disponible en trombones, approfondissant ainsi sa fixation sur un objectif unique au détriment de l’humanité. Yudkowsky a déclaré que l'ajout de cibles supplémentaires n'améliorerait pas significativement la sécurité.
Faisant référence au titre de son récent livre sur l'IA, « Si quelqu'un le construit, tout le monde meurt », il a déclaré : « Notre titre n'est pas comme pourrait peut-être vous tuer », a déclaré Yudkowsky. « Notre titre est que si quelqu'un le construit, tous ils meurent. »
Mais More a remis en question l’hypothèse selon laquelle une extrême prudence offre le résultat le plus sûr. Il a soutenu que l’AGI pourrait offrir à l’humanité la meilleure chance de surmonter le vieillissement et la maladie.
« La chose la plus importante pour moi est que l'AGI puisse nous aider à prévenir l'extinction de chaque personne vivante due au vieillissement », a déclaré More. « Nous mourons tous. Nous nous dirigeons un à un vers une catastrophe. » Il prévient qu’un confinement excessif pourrait pousser les gouvernements à adopter des contrôles autoritaires, seul moyen d’arrêter le développement de l’IA à l’échelle mondiale.
Sandberg se positionne entre les deux camps, se décrivant comme « plus optimiste » mais restant plus prudent que les optimistes transhumanistes. Il a raconté une expérience personnelle au cours de laquelle il a presque utilisé un grand modèle de langage pour aider à la conception d'une arme biologique, un épisode qu'il a qualifié d'« horrible ».
« Nous arrivons à un point où l'amplification des acteurs malveillants va également provoquer un énorme désastre », a déclaré Sandberg. Il estime néanmoins qu'une sécurité partielle ou « approximative » pourrait être réalisable. Il a rejeté l’idée selon laquelle la sécurité doit être parfaite pour avoir un sens, suggérant que les humains pourraient au moins converger vers des valeurs minimales partagées comme la survie.
« Donc, si vous exigez une sécurité parfaite, vous ne l'obtiendrez pas. Et cela semble vraiment mauvais de ce point de vue », a-t-il déclaré. « D'un autre côté, je pense que nous pouvons être à peu près en sécurité. Cela suffit. »
Scepticisme de la programmation
Vita-More a critiqué le débat plus large sur l’alignement lui-même, arguant que le concept suppose un niveau de consensus qui n’existe pas même parmi les collaborateurs de longue date.
« La notion d'alignement est un schéma de Pollyanna », a-t-il déclaré. « Cela ne sera jamais aligné. Je veux dire, même ici, nous sommes tous de bonnes personnes. Nous nous connaissons depuis des décennies et nous ne sommes pas alignés. »
Il a décrit l'affirmation de Yudkowsky selon laquelle l'AGI tuerait inévitablement tout le monde comme une « pensée absolutiste » qui ne laisse aucune place à d'autres résultats.
« J'ai un problème avec l'affirmation générale selon laquelle tout le monde meurt », a-t-il déclaré. « Aborder cela en tant que penseur futuriste et pragmatique ne laisse aucune conséquence, aucune alternative, aucun autre scénario. C'est simplement une déclaration brutale, et je me demande si elle reflète un type de pensée absolutiste. »
La discussion comprenait un débat sur la question de savoir si une intégration plus étroite entre les humains et les machines pourrait atténuer le risque posé par l'AGI, ce que le PDG de Tesla, Elon Musk, a proposé dans le passé. Yudkowsky a rejeté l'idée de fusionner avec l'IA, la comparant à « essayer de fusionner avec votre four grille-pain ».
Sandberg et Vita-More ont fait valoir qu’à mesure que les systèmes d’IA deviennent plus performants, les humains devront s’intégrer ou fusionner plus étroitement avec eux pour mieux faire face à un monde post-AGI.
« Cette discussion est une réalité sur qui nous sommes en tant qu'êtres humains », a déclaré Vita-More.
Débriefing quotidien Bulletin
Commencez chaque journée avec les principales actualités du moment, ainsi que des fonctionnalités originales, un podcast, des vidéos et bien plus encore.