En résumé
- Une étude d'Oxford publiée dans Nature Medicine a averti que les chatbots IA peuvent poser des diagnostics incorrects et ne pas reconnaître les urgences médicales.
- L’étude menée auprès de 1 300 participants a montré que l’IA ne surpassait pas les méthodes traditionnelles d’autodiagnostic, telles que les recherches sur Internet.
- Le Dr Payne a noté que les LLM devraient remplir un rôle de « secrétaire, et non de médecin », utile pour résumer les informations déjà fournies.
Les chatbots IA rivalisent pour devenir la prochaine grande nouveauté dans le domaine des soins de santé, en réussissant des tests standardisés et en offrant des conseils sur les problèmes médicaux. Cependant, une nouvelle étude publiée dans Médecine naturelle a montré que non seulement ils sont très loin d’y parvenir, mais qu’ils pourraient être dangereux.
L'étude, menée par plusieurs équipes de l'Université d'Oxford, a identifié une lacune notable dans les grands modèles linguistiques (LLM). Bien que ces produits démontrent un haut niveau technique de compréhension médicale, les chercheurs ont constaté qu’ils ne parvenaient pas à aider les utilisateurs ayant des problèmes médicaux personnels.
« Malgré tout le battage médiatique, l'IA n'est tout simplement pas prête à assumer le rôle de médecin », a déclaré le Dr Rebecca Payne, médecin responsable de l'étude, dans un communiqué de presse présentant les résultats. Il a ajouté : « Les patients doivent être conscients que consulter un modèle de langage large au sujet de leurs symptômes peut être dangereux, car ils peuvent poser des diagnostics incorrects et ne pas reconnaître quand une aide urgente est nécessaire. »
L'étude a impliqué 1 300 participants qui ont utilisé des modèles d'IA d'OpenAI, Meta et Cohere pour identifier les problèmes de santé. Une série de scénarios développés par des médecins ont été proposés, dans lesquels il était demandé au système d'IA d'indiquer les étapes à suivre pour résoudre le problème médical de l'utilisateur.
L’étude a révélé que ses résultats ne surpassaient pas les méthodes traditionnelles d’autodiagnostic, telles que la simple recherche sur Internet ou même le jugement personnel.
Il y avait également une déconnexion de la part des utilisateurs, qui ne savaient pas de quelles informations le LLM avait besoin pour offrir des conseils précis. Les utilisateurs ont reçu un mélange de bonnes et de mauvaises recommandations, ce qui rend difficile l'identification des prochaines étapes.
Décrypter a contacté OpenAI, Meta et Cohere pour commentaires et mettra à jour cet article s'ils répondent.
« En tant que médecin, parvenir au bon diagnostic implique bien plus que simplement se souvenir des faits. La médecine est à la fois un art et une science. Écouter, sonder, clarifier, vérifier la compréhension et guider la conversation sont des éléments essentiels », a déclaré Payne. Décrypter.
« Les médecins identifient activement les symptômes pertinents parce que les patients ne savent souvent pas quels détails comptent », a-t-il expliqué, ajoutant que l'étude a montré que les LLM « ne sont pas encore capables de gérer de manière fiable cette interaction dynamique avec des non-experts ».
L’équipe a conclu que l’IA n’est tout simplement pas à la hauteur pour fournir des conseils médicaux à l’heure actuelle et que de nouveaux systèmes d’évaluation sont nécessaires si l’on veut un jour l’utiliser correctement dans le domaine des soins de santé. Cependant, cela ne veut pas dire qu’ils n’ont pas leur place dans le domaine médical tel qu’il existe aujourd’hui.
Même si les LLM « ont certainement un rôle dans le secteur de la santé », a déclaré Payne, celui-ci devrait être celui de « secrétaire, pas de médecin ». La technologie présente des avantages en termes de « résumer et réorganiser les informations qui leur ont déjà été données », et les LLM sont déjà utilisés dans les cabinets pour « transcrire les consultations et convertir ces informations en lettre pour un spécialiste, en fiche d'information pour le patient ou en dossier médical », a-t-il expliqué.
L’équipe a conclu que, même si elle n’est pas contre l’IA dans le secteur de la santé, elle espère que cette étude servira à mieux l’orienter dans la bonne direction.
Débriefing quotidien Bulletin
Commencez chaque journée avec les principales actualités du moment, ainsi que des fonctionnalités originales, un podcast, des vidéos et bien plus encore.