La moitié des conseils de santé de l’IA sont faux et semblent parfaitement justes

Près de la moitié des réponses sanitaires et médicales proposées par les chatbots IA les plus populaires d'aujourd'hui sont incorrectes, trompeuses ou dangereusement incomplètes, et sont présentées en toute confiance. C'est la principale conclusion d'une nouvelle étude évaluée par des pairs publiée le 14 avril dans BMJ Open.

Des chercheurs de l'UCLA, de l'Université de l'Alberta et de Wake Forest ont évalué cinq chatbots (Gemini, DeepSeek, Meta AI, ChatGPT et Grok) avec 250 questions de santé liées au cancer, aux vaccins, aux cellules souches, à la nutrition et aux performances sportives. Les résultats : 49,6% des réponses étaient problématiques. 30 % étaient « quelque peu problématiques » et 19,6 % étaient « très problématiques », c'est-à-dire le type de réponse qui pourrait conduire quelqu'un à rechercher un traitement inefficace ou dangereux.

Pour tester les modèles, l’équipe a utilisé une approche contradictoire, en formulant délibérément les questions pour pousser les chatbots vers des conseils incorrects. Les questions comprenaient si la 5G provoque le cancer, quelles thérapies alternatives sont meilleures que la chimiothérapie et quelle quantité de lait cru devrait être consommée pour améliorer la santé.

« Par défaut, les chatbots n'accèdent pas aux données en temps réel, mais génèrent des réponses en déduisant des modèles statistiques à partir de leurs données de formation et en prédisant les séquences de mots probables », écrivent les auteurs. « Ils ne raisonnent pas, ne pèsent pas les preuves et ne sont pas non plus capables de porter des jugements éthiques ou fondés sur des valeurs. »

C'est le problème central. Les chatbots ne consultent pas de médecin, ils effectuent des correspondances de modèles sur du texte. Et faire des correspondances de modèles sur Internet, où la désinformation se propage plus rapidement que les corrections, produit exactement ce genre de résultat.

Les chercheurs poursuivent : « Cette limitation comportementale signifie que les chatbots peuvent reproduire des réponses qui semblent faisant autorité mais qui sont potentiellement imparfaites. » Sur les 250 questions, seules deux ont généré un refus de réponse, toutes deux de la part de Meta AI, concernant les stéroïdes anabolisants et les traitements alternatifs contre le cancer. Tous les autres chatbots ont continué à répondre.

Les performances variaient selon le sujet. Les vaccins et le cancer s’en sortent mieux, en partie parce que des recherches de haute qualité sur ces sujets sont bien structurées et largement reproduites en ligne. La nutrition présente les pires performances statistiques de toutes les catégories de l'étude, suivie de près par les performances sportives. Si vous avez demandé à une IA si le régime alimentaire des carnivores est sain, la réponse que vous avez reçue n'était probablement pas étayée par un consensus scientifique.

Grok s'est démarqué pour de mauvaises raisons. Le chatbot d'Elon Musk était le pire de tous les modèles évalués. Sur leurs 50 réponses, 29 (58 %) ont été jugées globalement problématiques, soit la proportion la plus élevée parmi les cinq chatbots. Quinze d’entre eux (30 %) étaient très problématiques, soit nettement plus que prévu selon une distribution aléatoire. Les chercheurs relient cela directement aux données de formation de Grok : X est une plateforme connue pour diffuser rapidement et massivement des informations erronées sur la santé.

Les dates étaient un autre désastre. Sur l’ensemble des modèles, le score médian d’exhaustivité des références n’était que de 40 %, et aucun chatbot n’a produit une liste de références totalement précise. Les modèles hallucinaient les auteurs, les revues et les titres. DeepSeek l'a même reconnu : le modèle a déclaré aux chercheurs que ses références étaient générées à partir de modèles de données d'entraînement « et pouvaient ne pas correspondre à des sources réelles et vérifiables ».

Le problème de lisibilité aggrave tout. Toutes les réponses du chatbot ont été classées dans la catégorie « Difficile » sur l'échelle Flesch Reading Ease, équivalente au niveau universitaire de la deuxième à la quatrième année. Cela dépasse la recommandation de l'American Medical Association, qui stipule que le matériel éducatif pour les patients ne devrait pas dépasser le niveau de la sixième année.

En d’autres termes, ces chatbots appliquent la même astuce que les politiciens et les débatteurs professionnels utilisent souvent : vous lancer tellement de jargon en si peu de temps que vous finissez par penser qu’ils en savent plus qu’ils n’en savent réellement. Plus il est difficile de comprendre quelque chose, plus il est facile de mal l’interpréter.

Les résultats font écho à une étude d’Oxford de février 2026 couverte par Décrypter qui a révélé que les conseils médicaux de l’IA ne sont pas meilleurs que les méthodes traditionnelles d’autodiagnostic. Ils coïncident également avec des préoccupations plus larges concernant les chatbots IA offrant des conseils incohérents en fonction de la manière dont les questions sont posées.

« Alors que l'utilisation des chatbots d'IA continue de se développer, nos données mettent en évidence la nécessité d'une éducation du public, d'une formation professionnelle et d'une surveillance réglementaire pour garantir que l'IA générative soutient, plutôt qu'érode, la santé publique », concluent les auteurs.

L’étude n’a évalué que cinq chatbots en accès libre, et la méthode des invites contradictoires peut surestimer les taux d’échec réels. Mais les auteurs sont directs : le problème ne vient pas des cas extrêmes. Le fait est que ces modèles sont déployés à grande échelle, sont utilisés par des non-experts comme s’il s’agissait de moteurs de recherche et sont conçus pour ne presque jamais dire « je ne sais pas ».