Dans une récente étude transversale, des chercheurs ont exploré les performances des grands modèles de langage (LLM) dans les examens de type jury de neurologie.
L’étude, qui utilisait une banque de questions approuvée par l’American Board of Psychiatry and Neurology, a révélé un aperçu de ces modèles de langage avancés.
ChatGPT domine l’examen de neurologie
L’étude portait sur deux versions du LLM ChatGPT : la version 3.5 et la version 4. Les résultats ont révélé que LLM 2 surpasse considérablement son prédécesseur. De plus, dépassant même le score humain moyen à l’examen du jury de neurologie.
Selon les résultats, le LLM 2 a répondu correctement à 85,0 % des questions. Pendant ce temps, le score humain moyen est de 73,8 %.
Ces données suggèrent qu’avec des améliorations supplémentaires, de grands modèles de langage pourraient trouver des applications significatives en neurologie clinique et en soins de santé.
En savoir plus: 9 invites et conseils ChatGPT pour rédiger la description de poste parfaite
ChatGPT fonctionne mieux sur les questions d’examen d’ordre inférieur
Cependant, même l’ancien modèle, LLM 1, a démontré des performances suffisantes, quoique légèrement inférieures à la moyenne humaine, avec un score de 66,8 %.
Les deux modèles ont systématiquement utilisé un langage confiant, quelle que soit l’exactitude de leurs réponses, indiquant un domaine potentiel d’amélioration dans les itérations futures.
Selon l’étude, les questions ont été classées en ordre inférieur et ordre supérieur en fonction de la taxonomie Bloom.
Les deux modèles ont obtenu de meilleurs résultats sur les questions d’ordre inférieur. Cependant, le LLM 2 a fait preuve d’excellence dans les questions d’ordre inférieur et supérieur, démontrant sa polyvalence et ses capacités cognitives.
En savoir plus: ChatGPT vs Google Bard : une comparaison des chatbots IA
Clause de non-responsabilité
Conformément aux directives du Trust Project, BeInCrypto s’engage à fournir des rapports impartiaux et transparents. Cet article de presse vise à fournir des informations précises et actuelles. Il est toutefois conseillé aux lecteurs de vérifier les faits de manière indépendante et de consulter un professionnel avant de prendre une décision basée sur ce contenu.