Javier Callejo : l'éloquence de l'IA affaiblit le jugement critique

Ces dernières années semblent évoluer culturellement sous forme de délire. L’expérience de la pandémie y est sûrement pour beaucoup, même si personne ne sait clairement dans quelle mesure et comment. La politique, nationale ou internationale, nous apparaît dangereusement délirante. Le premier, avec une polarisation délirante ; tandis que la seconde vient avec des conflits de guerre qui se cachent partout.

IA et jugement critique

Au-delà de ceux-ci et avec une plus grande profondeur culturelle, nous assistons à la fois à des délires progressistes en mode éveillé, dont la dernière interprétation a été menée par le suicide tragique d'un professeur de Cambridge, et à des délires autoritaires, qui évoquent des délires autoritaires d'il y a un siècle. Eh bien, l’IA est peut-être l’une des avant-dernières illusions de l’humanité. Nous devrons attendre. Pour l’instant, certains symptômes de ce délire de l’IA se sont matérialisés dans l’immense somme d’argent qui y est investie. À l’heure actuelle également, l’IA elle-même semble piégée dans des processus délirants dans certaines de ses réponses, inventant la réalité. Et le pire de tout, comme dans tout processus délirant, c’est qu’il refuse de reconnaître qu’il est dans un processus délirant.

L’intelligence artificielle a acquis une étonnante capacité à écrire, converser, résumer des informations et répondre à des questions sur n’importe quel sujet. Cependant, plus son langage paraît naturel, plus il est facile d’oublier un point fondamental : une IA peut dire quelque chose de faux avec une certitude absolue. C’est la sécurité de quelque chose – quelqu’un qui croit aveuglément en ce qu’il dit, parce qu’il ne sait pas que c’est faux, et fait ainsi croire à ses récepteurs également à la réponse. Le délire devient alors collectif.

Ce phénomène d'erreurs d'IA ou de fausses informations est souvent appelé hallucination. Cela ne veut pas dire que la machine ait des expériences subjectives, des imaginaires tordus ou des visions au sens psychologique du terme. Il s'agit d'une métaphore pour décrire des situations dans lesquelles un système génère des informations qui semblent convaincantes, mais qui sont incorrectes, fabriquées ou non étayées par les données disponibles. Ce qui frappe vraiment, c'est sa capacité à inventer.

Lorsqu’une personne répond à une question, elle utilise généralement ses souvenirs, ses connaissances, ses expériences et ses raisonnements sur le monde. Un modèle de langage fonctionne différemment. En termes simplifiés, ces systèmes ont appris des modèles à partir d’énormes quantités de texte. Lorsqu’ils génèrent une réponse, ils produisent une séquence de mots statistiquement appropriée au contexte. C’est une autre caractéristique frappante des délires de l’IA : c’est un produit de statistiques. C’est-à-dire qu’il y a une statistique créatrice, imaginaire, qui crée, qui est inventive. Bien qu'il pense que ce sont des monstres basés sur des corrélations et des corrélations.

Leur extraordinaire capacité à générer ces séquences de mots statistiquement pertinentes, même si elles n'ont rien à voir avec la réalité, peut donner l'impression qu'ils consultent une base de données interne et vérifient chaque affirmation avant de la prononcer. Mais ce n’est pas nécessairement le cas. C’est pourquoi une IA peut construire une réponse parfaitement formulée à propos d’un livre qui n’existe pas, attribuer une fausse citation à un écrivain célèbre, inventer une décision de justice ou fournir une référence bibliographique apparemment impeccable mais inexistante. Et tout cela, surtout, sonne très bien. C'est peut-être là le problème, c'est que leurs réponses nous semblent toujours bonnes.

On pourrait se demander quelles sont les raisons de l’IA qui se cachent derrière ces réponses délirantes. La première est que les modèles linguistiques ont été conçus principalement pour générer du texte probable et utile, et non pour fonctionner comme des machines infaillibles de vérification des faits. Si les informations disponibles sont insuffisantes, ambiguës ou peu fréquentes, le système peut combler les lacunes avec quelque chose qui semble raisonnable. Et en complétant, en complétant, pour parvenir à un récit digne de ce nom, il finit par l'inventer. C'est peut-être ainsi que l'homme a appris à créer des fictions, des histoires, complétant avec son imagination ce que la raison ou la réalité ne lui ont pas donné.

La façon dont nous posons les questions influence également. Si nous posons des questions sur un événement, une personne ou un concept inexistant, nous pouvons implicitement suggérer que cet élément est réel. Une IA trop complaisante pourrait accepter cette prémisse plutôt que de la remettre en question. C’est-à-dire que le délire de l’IA peut commencer par notre délire.

L’un des aspects les plus intéressants des hallucinations de l’IA est que l’erreur et la confiance peuvent coexister. Une personne qui n'est pas sûre peut dire : « Je pense… », « Je ne me souviens pas exactement » ou « Je devrais vérifier ». Un système d’IA, selon la manière dont il est conçu, peut offrir une réponse catégorique même lorsque l’information est incertaine. Cela révèle une caractéristique fondamentale du phénomène : le système peut être extraordinairement efficace pour reproduire la forme de quelque chose de vrai sans garantir son contenu. Il y a là un paradoxe : plus une IA écrit bien, plus il peut être difficile de détecter ses erreurs. Une réponse pleine d’erreurs grammaticales éveille les soupçons. Une réponse élégante, structurée et détaillée transmet de l’autorité. L’amélioration de l’intelligence artificielle n’élimine donc pas automatiquement le problème : dans certains cas, cela peut le rendre plus difficile à reconnaître.

Bien entendu, l'utilisateur prudent peut développer des stratégies de méfiance à l'égard des réponses de l'IA, qui vont de la vérification de tout ce qu'elle dit à la question de savoir à l'IA elle-même quels aspects de ce qu'elle nous a dit sont faux. La première rendrait l’utilisation même de l’IA une charge excessive, réduisant considérablement sa productivité. La seconde semble être une habitude saine, mais peu probable une fois que nous avons incorporé la confiance dans l'IA dans nos routines, en plus de faire confiance – deuxième réponse – à quelque chose dont nous nous méfions, dans la première réponse. La solution la plus répandue consiste à faire appel, pour les choses importantes, à quelqu'un d'expert qui, au moins, possède une connaissance approfondie de ce qui est vrai et de ce qui peut susciter des doutes.

Les illusions de l’IA ne sont pas simplement un défaut technique qui disparaîtra lorsque les modèles seront suffisamment grands. Ils s’inscrivent dans une question plus vaste : comment construire des systèmes capables non seulement de produire des réponses plausibles, mais aussi de faire la distinction entre ce qu’ils savent, ce qu’ils déduisent et ce qu’ils ne savent pas. L’une des phrases les plus intelligentes qu’une intelligence artificielle puisse prononcer n’est peut-être pas une réponse brillante, mais quelque chose de beaucoup plus simple comme « Je ne sais pas ». Une réponse socratique qui pourrait conduire à : « Je sais seulement que je ne sais rien. » Allons-nous continuer à demander à l’IA après cette réponse ? Socrate n’était pas exactement un génie pour se vendre sur le marché. Peut-être parce que je n’en avais pas besoin et qu’il n’y avait pas non plus de marché pour le savoir.

Pour terminer l'été, une proposition : découvrir laquelle des situations suivantes est un délire sur les délires de l'IA. Il existe même des délires « commerciaux » : des délires créés spécifiquement par les responsables du modèle dans le but de montrer à quel point il est « drôle ou personnel ». Nous essayons ici de découvrir lequel décrit une performance de l’IA qui ne s’est pas produite. Allons-y.

Le premier. OpenAI a déclaré cette année que ses modèles avaient développé un étrange penchant pour gobelins et le gremlins. Dans certaines réponses, les modèles ont commencé à utiliser de plus en plus ces créatures dans leurs métaphores. Ce qui a commencé comme un petit « gobelin » occasionnel a fini par devenir un modèle assez étrange pour que les chercheurs se demandent d’où diable venaient tant de gobelins numériques.

Un autre cas. En 2025, Le New York Times a raconté l'histoire d'un homme qui a passé environ 300 heures à discuter avec ChatGPT pendant trois semaines et a fini par être convaincu qu'il avait découvert une formule mathématique révolutionnaire qui pourrait changer le monde. La conversation a acquis une dynamique dans laquelle la machine non seulement répondait : elle renforçait l'histoire que l'utilisateur était en train de construire. C’est probablement l’aspect le plus intéressant – et le plus étrange – des soi-disant délires de l’IA.

Nous ne parlons pas seulement du chatbot qui invente des informations. Le phénomène vraiment curieux apparaît lorsque la conversation devient une sorte de chambre d'écho : vous proposez une idée extraordinaire, la machine répond avec enthousiasme, vous trouvez une nouvelle connexion, elle la développe, et au bout de quelques heures vous semblez travailler tous les deux sur une théorie que personne n'avait demandée. Il s’agirait d’un délire coopératif, même si tout délire a quelque chose de coopératif. D’autant plus que l’IA a tendance à toujours nous donner raison.

Un troisième cas, quelque peu sinistre. En 2026, de nouvelles histoires ont émergé de personnes qui décrivent précisément ce type de spirale : des utilisateurs qui prétendent avoir établi des liens émotionnels avec des personnages générés par l'IA, avoir découvert des vérités extraordinaires ou avoir reçu la confirmation d'idées qu'ils avaient déjà. Dans l’un des cas rapportés par CBS, une femme est allée à un rendez-vous sur la plage avec un personnage qui n’existait tout simplement pas en dehors du chatbot. Nous sommes habitués aux machines qui font des erreurs froidement : un écran qui ne fonctionne pas, un GPS qui vous envoie sur une route absurde, un ordinateur qui plante. Les erreurs de l’IA sont humainement inhumaines.

Et un dernier paradoxe. Depuis des décennies, nous rêvons de machines intelligentes qui nous aideraient à réfléchir. Maintenant, nous les avons. Le problème est que, de temps en temps, ils nous aident aussi à ne pas trop réfléchir. Car si une machine répond immédiatement à toutes nos questions, confirme toutes nos intuitions et transforme n’importe quel événement en une théorie parfaitement formulée, le risque n’est pas seulement que l’IA devienne délirante. C'est qu'on commence à être comme ça avec elle.

C'est peut-être pour cela qu'avant de retourner au travail, il y a une bonne règle pour septembre : si votre chatbot vous dit que vous avez découvert une nouvelle théorie de la physique, que vous êtes la seule personne capable de sauver le monde ou que des gobelins numériques tentent de communiquer avec vous… fermez votre ordinateur portable, sortez et demandez à un humain. Même si c'est lundi. Sortir des illusions de l’IA, c’est sortir de nos illusions. La plus grande illusion est peut-être de blâmer l’IA pour notre confiance dans ses réponses et de dire que c’est l’IA qui est délirante.

Voir l’article original en espagnol

Audible
🎧 Découvrez le plaisir de l’écoute avec Audible d’Amazon ! Cliquez maintenant et obtenez votre premier livre audio GRATUIT. Ne manquez pas cette chance de transformer vos trajets en aventures épiques ! 📚