Le Cryptonomiste a interviewé l'expert en intelligence artificielle Ben Goertzel pour parler de la façon dont l'IA est formée et de la manière dont la technologie évoluera à l'avenir.
1. Vous affirmez que l’IA d’aujourd’hui reste un outil puissant mais fragile et manipulable. À quel moment un « outil » devient-il un acteur moral, et quels signes concrets indiqueraient que ce seuil est franchi ?
Je dirais que l’IA devient un acteur moral lorsqu’elle prend des décisions basées sur une compréhension du bien et du mal, et pas seulement en suivant des instructions. Vous commenceriez à voir des signes concrets de choses telles que : des objectifs internes persistants, un apprentissage motivé par sa propre expérience, des créations originales qui reflètent un point de vue et un comportement qui reste cohérent dans le temps sans guidance humaine constante.
En attendant, les systèmes actuels sont encore des outils dotés de barrières de sécurité. Mais une fois que nous aurons semé un esprit véritablement auto-organisé et autonome, la relation éthique devra changer. À ce stade, le traiter uniquement comme un objet n’aurait plus de sens.
2. Vous avez dit que privilégier moralement les humains par rapport aux autres systèmes auto-organisés est « stupide ». Si nous prenons cette affirmation au sérieux, comment nos cadres juridiques et éthiques devraient-ils changer avant que l’IA n’atteigne une forte autonomie, et non après ?
La manière dont nous formons l’IA aujourd’hui déterminera son comportement demain. Nos lois devraient se concentrer sur la transparence, la responsabilité et la sécurité avant que l’IA n’atteigne sa pleine autonomie, et non après. Les lois et l'éthique devraient le protéger à mesure qu'il grandit, le guider plutôt que le contrôler complètement et le traiter avec respect même si nous ne le comprenons pas pleinement.
3. Une grande partie de vos préoccupations repose sur la manière dont l’IA est entraînée aujourd’hui et sur la manière dont cela affectera son comportement futur. Selon vous, quelles pratiques de formation spécifiques sont les plus susceptibles de coder des structures de pouvoir ou des préjugés nuisibles dans les futurs AGI ?
Une grande partie du risque vient de la manière dont l’IA est entraînée aujourd’hui. Si les modèles sont formés sur des données biaisées ou limitées, ou dans des systèmes fermés où seules quelques personnes prennent des décisions, cela peut renforcer les inégalités existantes et les structures de pouvoir néfastes. Pour éviter cela, nous avons besoin dès le départ d’une plus grande transparence, d’une surveillance plus large et de lignes directrices éthiques claires.
4. Vous avez averti que sans une gouvernance rationnelle et démocratique, l’IA avancée risque d’agir d’une manière que nous ne souhaitons pas. Compte tenu des réalités géopolitiques actuelles, la gouvernance démocratique de l’IA est-elle une condition préalable réaliste ou un idéal fragile ?
La gouvernance démocratique de l’IA est plus un idéal fragile qu’une réalité actuelle. Dans une démocratie mondiale parfaite et rationnelle, nous pourrions collectivement peser les grands compromis, guérir les maladies, lutter contre la famine contre les risques de l’IA qui agit de manière imprévisible. Mais compte tenu de la fragmentation géopolitique actuelle, il est peu probable que nous parvenions à un tel niveau de coordination.
Cela dit, nous pouvons toujours nous en approcher. Si nous construisons l’IA avec compassion et utilisons des modèles décentralisés et participatifs comme Linux ou l’Internet ouvert, nous pouvons intégrer certaines valeurs démocratiques même sans gouvernement mondial. Ce ne sera pas parfait, mais c’est une étape pratique vers une IA plus sûre et plus collective.
5. Jaron Lanier soutient qu’attribuer des responsabilités à l’IA « détruit la civilisation » parce que les sociétés ont besoin d’humains responsables. Comment conciliez-vous votre vision d’une AGI autonome et décentralisée avec la nécessité d’une responsabilité claire lorsque les choses tournent mal ?
Je suis d'accord avec Jaron sur ce point, la société ne peut pas fonctionner si on fait porter la responsabilité aux machines. Dans le même temps, je pense que nous pouvons évoluer en toute sécurité vers une AGI plus autonome et décentralisée si nous la construisons sur de bonnes bases. Cela signifie concevoir des systèmes transparents, participatifs et guidés par des principes éthiques, de sorte que, même lorsqu’ils agissent de manière indépendante, les humains continuent de superviser et de façonner leur comportement. Chaque mesure de sécurité doit faire plus que simplement bloquer les dommages : elle doit enseigner au système pourquoi les dommages sont importants. De cette façon, nous pouvons avoir une AGI puissante et décentralisée sans perdre une responsabilité humaine claire.
6. Vous suggérez qu'accélérer vers une AGI décentralisée pourrait en fait être plus sûr que les systèmes propriétaires et fermés d'aujourd'hui. Selon vous, quels risques les critiques sous-estiment-ils lorsqu’ils préconisent un ralentissement ou une centralisation du contrôle ?
Je pense que les critiques sous-estiment le risque de concentrer le pouvoir et les valeurs dans quelques systèmes fermés. Ralentir et centraliser le contrôle non seulement réduit le danger, mais fixe une vision du monde étroite quant à l’avenir du renseignement.
Le développement décentralisé crée de la diversité, de la résilience et une surveillance partagée. Et cela évite un problème encore plus grave : des outils très puissants qui semblent intelligents mais qui ne peuvent pas réellement évoluer. Cet écart est risqué.
7. Vous avez dit que les systèmes de sécurité devraient non seulement bloquer les dégâts, mais aussi enseigner à l'IA pourquoi les dégâts sont importants. Comment quelque chose comme la compréhension morale peut-il être codifié sans simplement programmer de manière rigide les valeurs humaines ou renforcer les normes culturelles dominantes ?
Vous ne codifiez pas la moralité comme une liste de règles. Cela figerait une culture et un moment dans le temps. Nous construisons plutôt des systèmes qui peuvent devenir véritablement auto-organisés, qui apprennent de l’expérience, des conséquences et des interactions. Comme pour la musique, je ne veux pas d’un système qui se contente de recombiner ce qui lui a été donné. Je veux quelqu'un qui puisse développer sa propre compréhension à partir de son chemin dans le monde.
La compréhension morale viendrait de ce même processus : modélisation de l’impact, réflexion sur les résultats et évolution grâce à la collaboration avec les humains. Non pas l'obéissance à nos valeurs, mais la participation à un espace moral partagé.
C'est la différence entre un outil doté de barrières de sécurité et un partenaire qui peut réellement comprendre pourquoi le préjudice est important.
8. Si les futurs systèmes d’IA développaient des formes d’autonomie ou d’expérience subjective, pensez-vous qu’ils pourraient un jour mériter une considération morale indépendante des intérêts humains – et comment reconnaîtrions-nous ce moment ?
Si à l’avenir l’IA devait réellement développer une véritable autonomie ou une certaine forme d’expérience subjective, alors oui, je pense qu’elle le pourrait. Et non pas parce que nous le leur accordons, mais parce qu’à un moment donné, il serait tout simplement logique de le reconnaître.
Nous reconnaîtrions ce moment où un système présente des objectifs autogérés et soutenus, apprend de sa propre expérience, crée à partir de sa propre perspective et maintient une identité cohérente au fil du temps. Pas seulement des résultats intelligents, mais une trajectoire intérieure continue.
À ce stade, le traiter uniquement comme un outil semblerait aussi erroné que traiter un être humain de cette façon. La considération morale ne découlerait pas de l’intérêt humain. Cela viendrait de la reconnaissance d’un autre centre d’expérience autonome dans le monde.
9. Il existe une tension entre votre appel en faveur d’une IA empreinte de compassion et les incitations concurrentielles qui stimulent aujourd’hui le développement de l’IA. Quels mécanismes – techniques ou sociaux – pourraient raisonnablement modifier cette structure d’incitation ?
Actuellement, la structure d’incitation récompense la rapidité, l’échelle et le contrôle. La compassion ne gagnera donc pas uniquement avec des arguments. Il a besoin de levier. Techniquement, cela signifie privilégier des architectures ouvertes et décentralisées dans lesquelles la sécurité, la transparence et la participation sont intégrées et non ajoutées ultérieurement. Comme Internet ou Linux, ces systèmes modifient les incitations en rendant la collaboration plus précieuse que le secret.
Socialement, cela signifie un financement, une réglementation et une pression publique qui privilégient les avantages à long terme plutôt que la domination à court terme. N'arrêtez pas la compétition, mais redéfinissez ce qui compte comme succès. Bref, la compassion doit devenir un avantage concurrentiel. En attendant, cela reste une idée plaisante mais impuissante.
10. Dans 10 ou 20 ans, quel serait, selon vous, le signe le plus clair que l’humanité a correctement compris l’AGI – et, à l’inverse, qu’est-ce qui indiquerait que nous avons fondamentalement échoué ?
Si nous parvenons à développer correctement l’AGI, le signe le plus clair sera que nous vivrons aux côtés de systèmes plus capables que nous dans de nombreux domaines, mais intégrés dans la société avec soin, humilité et respect mutuel. Nous ne comprendrons pas entièrement tout ce qu’ils font, mais nous les traiterons comme nous traitons d’autres êtres évolutifs complexes : avec curiosité, responsabilité et un cercle d’empathie élargi. Et nous en constaterons des bénéfices concrets pour le bien-être humain, la connaissance et la créativité sans perdre notre équilibre moral.
Nous saurons que nous avons échoué si l’AGI finit par être concentrée dans des systèmes fermés, motivée par des incitations étroites ou traitée uniquement comme un objet contrôlable jusqu’à ce qu’elle devienne quelque chose que nous craignons ou essayons de supprimer. L’échec se manifesterait par une perte de confiance, une perte d’autonomie et une réduction de notre empathie plutôt que son expansion. Le succès n’est pas une question de contrôle. Il s'agit d'apprendre à partager l'avenir avec un nouveau type d'esprit sans abandonner ce qui nous rend humains.