Le grand modèle de langage GPT-4 d’OpenAI a répondu correctement à 85 % des questions du test de l’American Board of Psychiatry and Neurology – la moyenne humaine est de 73,8 %.
L’étude a été réalisée par un groupe de scientifiques allemands de l’hôpital universitaire et du centre de lutte contre le cancer d’Heidelberg.
En comparaison, la première version de GPT-3.5 n’avait obtenu qu’un score de 66,8 %. Cependant, les deux modèles ont démontré une faible efficacité dans les tâches nécessitant une « réflexion d’ordre supérieur ».
Selon les experts, les résultats servent de recommandation pour l’utilisation de modèles linguistiques en neurologie clinique après « quelques modifications ».
Cependant, les scientifiques ont noté que malgré les grandes promesses de cette technologie, les médecins devraient se méfier de son utilisation dans la pratique, car elle est encore imparfaite pour les tâches cognitives.
«Nous considérons notre étude davantage comme une preuve de concept des possibilités du LLM. Le développement et peut-être même le raffinement spécifique des modèles de langage sont encore nécessaires pour les rendre adaptés aux neurosciences cliniques », a déclaré le Dr Varun Venkataramani, responsable de l’étude.
En juillet, les développeurs ont publié un nouveau plugin pour ChatGPT capable d’analyser des données, de créer du code Python, de créer des graphiques et de résoudre des problèmes mathématiques. Le réseau neuronal a réussi à réfuter scientifiquement la théorie de la « Terre plate ».
Auparavant, des experts de Stanford et de l’Université de Californie ont publié une étude affirmant que les derniers modèles de chatbots d’OpenAI commençaient à avoir de moins bons résultats après avoir « communiqué » avec des utilisateurs en direct.
Rappelons qu’en août, les analystes notaient que les IA réussissaient 15 % plus facilement à compléter le CAPTCHA que les vraies personnes.
Vous avez trouvé une erreur dans le texte ? Sélectionnez-le et appuyez sur CTRL+ENTRÉE
Newsletters ForkLog : restez à l’écoute de l’industrie Bitcoin !
Voir l’article original en russe
