La conscience est un atavisme – ForkLog : cryptomonnaies, IA, singularité, futur

Que nous enseigne le roman False Blindness de Peter Watts ?

Dans le roman « Fausse cécité » Le biologiste et écrivain canadien Peter Watts a proposé une hypothèse radicale : l'esprit peut être efficace sans conscience. Près de 20 ans après la publication du livre, cette thèse décrit avec précision l’IA générative.

Voyons pourquoi « intelligent » n'est pas synonyme de « compréhension » et quelles erreurs nous commettons en humanisant les algorithmes.

Un roman de 2006 devenu un commentaire sur les années 2020

« False Blindness » est sorti en octobre 2006. Le roman a été nominé pour un Hugo Award en 2007 et a été finaliste pour les John Campbell et Locus Awards.

Son auteur est un biologiste marin de l'Université de la Colombie-Britannique titulaire d'un doctorat en zoologie et en écologie des ressources. Dans le roman, il a fourni plus de 130 références à des travaux scientifiques, qui sont regroupées dans une intrigue commune de science-fiction sur le premier contact. Dans les années 2000, le livre restait une niche, portant sur « solide » SF et présentant un style lourd et une vision sombre de la nature humaine. Les critiques ont noté la prose opaque et la froideur émotionnelle du récit.

L'idée du roman est basée sur la séparation de deux concepts souvent confondus : l'intelligence en tant que capacité à résoudre des problèmes, à traiter des informations et la conscience en tant que compréhension subjective, le sentiment de « ce que c'est que d'être » quelque chose, tel que formulé par le philosophe Thomas Nagel.

Watts avance une hypothèse provocatrice : la conscience est une propriété redondante au cours de l’évolution, un sous-produit et non une condition nécessaire à l’intelligence.

Le roman explore cette intuition à travers plusieurs intrigues. Codeurs – les créatures extraterrestres du vaisseau Rorschach – ont une intelligence d'un ordre de grandeur supérieure à l'intelligence humaine. Ils analysent l'activité neuronale de l'équipage et résolvent des problèmes complexes. Mais ils n’ont aucune expérience subjective. Ils ne savent pas qu'ils existent. Comme Watts le dit par la bouche de l’un des personnages :

« Imaginez que vous êtes un codeur. Imaginez que vous avez un esprit, mais aucune raison, des tâches, mais aucune conscience. Vos nerfs vibrent de programmes de survie et d'auto-préservation, flexibles, autonomes, voire technologiques – mais il n'y a aucun système pour s'en occuper. Vous pouvez penser à tout, mais vous n'êtes conscient de rien. »*.

Le protagoniste et narrateur Siri Keaton est une personne qui a vécu hémisphèrectomie pour le traitement de l'épilepsie. Il est capable de modéliser avec précision le comportement des autres, mais manque d'empathie et d'expérience émotionnelle authentique. Son rôle est celui d'un synthétiseur, traducteur de données complexes pour le centre de contrôle : il transforme l'information sans relation propre avec elle. Keaton lui-même l'admet :

« Ce n'est pas mon travail de comprendre. Pour commencer, si je pouvais les comprendre, ce ne seraient pas des réalisations très avancées. Je ne suis, comment dire, qu'un chef d'orchestre. »

La troisième lignée est le vampire Yucca Sarasti, un prédateur du Pléistocène génétiquement ressuscité et doté d'une intelligence supérieure à celle d'un humain. Les vampires sont capables de voir simultanément les deux côtés du cube Necker et d'opérer avec plusieurs modèles cognitifs en parallèle.

Excès conscient

Il y a une véritable base philosophique derrière chacun de ces personnages. Le concept de zombies philosophiques, introduit par Robert Kirk en 1974 et popularisé par David Chalmers dans The Conscious Mind (1996), décrit un être hypothétique physiquement identique à un humain mais dépourvu d'expérience subjective. Les codeurs sont une radicalisation de cette idée : non pas une copie d’une personne inconsciente, mais une forme d’intelligence fondamentalement différente.

Chalmers a formulé le « difficile problème de la conscience » en 1995 : pourquoi les processus physiques dans le cerveau donnent-ils lieu à une expérience subjective ? Même si l'on explique pleinement toutes les fonctions cognitives – attention, catégorisation, traitement de l'information – la question demeure : pourquoi leur mise en œuvre s'accompagne-t-elle de sensation ? La « fausse cécité » prend ce problème et le renverse : et si la réponse était « aucune sensation n’est nécessaire » ?

Watts lui-même a décrit ainsi la genèse de l'idée : il a passé beaucoup de temps à chercher une explication fonctionnelle de la conscience et a appliqué le même test à chaque fonction possible : le système inconscient est-il capable de faire la même chose ? La réponse était toujours oui. Puis il réalisa que la conclusion la plus puissante était l’absence de fonction. Dans la postface du roman, Watts résume : la conscience, dans les conditions quotidiennes, ne fait rien d’autre que « recevoir des mémos de la couche subconsciente beaucoup plus intelligente, les approuver et s’attribuer tout le mérite ».

Bien avant Watts, l’idée de la conscience comme « surdose » évolutive a été formulée par le philosophe norvégien Peter Wessel Zapffe. Dans son essai « Le dernier Messie » (1933), il comparait l'esprit humain à la façon dont « certains cerfs à l'époque paléontologique » disparaissaient à cause de « bois excessivement lourds ». Zapffe considérait la conscience comme une extravagance évolutive similaire : une capacité développée au-delà de la nécessité pratique qui passait d'un avantage à un handicap.

Mais si Watts prouve que la conscience n’est pas nécessaire à l’intelligence, alors le penseur norvégien a une thèse plus radicale : elle est non seulement redondante, mais destructrice. Selon lui, les gens doivent « limiter artificiellement le contenu de la conscience » afin de ne pas tomber dans un état de « panique cosmique » à cause de la compréhension de leur propre finitude.

Le philosophe David Rosenthal est arrivé à une conclusion similaire. Dans un article de 2008, il a montré que conscience des états cognitifs n’ajoute pas de fonction significative au-delà des processus qui la génèrent.

Eliza dans la salle chinoise

En 1980, le philosophe John Searle a publié son expérience de pensée désormais bien connue, The Chinese Room. Son essence : une personne qui ne connaît pas le chinois est assise dans une pièce fermée avec un ensemble de règles pour manipuler les personnages. Lorsqu'il reçoit des questions en chinois, il compose les réponses selon les règles. Un observateur extérieur est sûr que quelqu’un à l’intérieur comprend le chinois. Mais la personne à l’intérieur ne comprend pas un mot. Conclusion de Searle : la syntaxe n'est pas identique à la sémantique. Le traitement correct des symboles ne signifie pas comprendre leur signification.

Cette expérience est directement intégrée à l’intrigue de False Blindness. Lorsque l'équipage de Theseus entre en contact avec Rorschach, le vaisseau extraterrestre répond dans un anglais idiomatique. Au début, cela est perçu comme une percée : la communication avec l’intelligence extraterrestre. Mais la linguiste Susan James se rend peu à peu compte que Rorschach a appris l'anglais en interceptant les transmissions radio humaines. Il collecte et combine des modèles de langage. Il produit des réponses grammaticalement et contextuellement correctes. Mais il ne comprend pas ce qu'il dit.

Watts présente l'idée à travers la propre explication de Keaton :

« Le fait est que vous pouvez communiquer en utilisant les algorithmes les plus simples d'analyse comparative et sans avoir la moindre idée de ce que vous dites. Si vous utilisez un ensemble de règles suffisamment détaillées, vous pouvez réussir le test de Turing. Être connu comme un esprit et un farceur, même sans connaître la langue dans laquelle vous communiquez. « 

Si LLM – Salle chinoise, pourquoi des millions de personnes se comportent-elles comme s'il y avait une compréhension derrière l'interface ? La réponse réside dans les biais cognitifs développés par l’évolution.

En 1966, le pionnier de l'intelligence artificielle Joseph Weizenbaum MIT a créé ELIZA, un programme qui utilise de simples correspondances de modèles pour simuler un psychothérapeute. Elle a reformulé les propos de l'internaute en questions. L'effet a choqué le créateur lui-même : son assistant, qui observait le développement, a demandé à être laissé seul avec ELIZA après plusieurs minutes de communication. Weizenbaum écrivit plus tard :

« Je n'avais aucune idée qu'une interaction extrêmement brève avec un programme relativement simple pouvait produire de puissantes pensées délirantes chez des personnes tout à fait normales. »

Ce phénomène est appelé « effet Eliza » : la tendance à attribuer aux systèmes informatiques une compréhension qu'ils n'ont pas. L'effet persiste même lorsque l'utilisateur sait qu'il y a un programme devant lui.

Il s'agit d'une distorsion cognitive. Nous avons évolué pour reconnaître les autres, et le langage est l’un des marqueurs diagnostiques les plus puissants d’Homo sapiens. Watts a décrit ce mécanisme dans le roman à travers le personnage de Robert Cunningham, qui explique pourquoi un être inconscient serait impossible à distinguer d'un être conscient :

« L'automate intelligent se fondra dans l'arrière-plan, observera ceux qui l'entourent, imitera leur comportement et se comportera comme une personne ordinaire. Et tout cela – sans se rendre compte de ce qu'il fait, sans même se rendre compte de sa propre existence. »

Murray Shanahan, professeur de robotique cognitive à l'Imperial College de Londres et scientifique principal chez Google DeepMind, met en garde :

« L'utilisation imprudente de mots chargés de philosophie comme » compte « et » pense « est particulièrement problématique car de tels mots obscurcissent le mécanisme et encouragent activement l'anthropomorphisation. »

Les locuteurs de code écrivent du code

Dans une interview accordée au magazine Helice en 2024, Watts a déclaré : « Il y a 20 ans, j'avais prévu les choses qui se produisent aujourd'hui. Mais maintenant, je n'ai aucune idée de ce qui se passera dans les 20 prochaines années. »

L’une des principales leçons du roman ne concerne pas la prédiction de la technologie. Il s’agit d’un avertissement concernant un piège cognitif : la conscience n’est pas nécessaire à l’efficacité. Les code scientists résolvent les problèmes mieux que les gens, sans avoir d'expérience subjective. Les LLM écrivent du code et traduisent des langues sans comprendre.

Nous anthropomorphisons non pas parce que l’IA nous trompe, mais parce que notre cerveau est programmé pour rechercher l’intelligence dans le langage. L'effet Eliza, décrit en 1966, a été considérablement amplifié par des systèmes formés sur des milliards de textes.

Le roman nous apprend à faire la distinction entre ce que fait le système et ce qu’est le système. La capacité à ne pas confondre imitation et compréhension reste l’une des compétences les plus précieuses. Watts a formulé cette idée deux décennies avant que la question ne devienne pratique.

Texte : Sasha Kosovan

Vous avez trouvé une erreur dans le texte ? Sélectionnez-le et appuyez sur CTRL+ENTRÉE