Les derniers modèles du chatbot ChatGPT ont commencé à donner des réponses moins précises à un ensemble de questions identiques après quelques mois. C’est ce qu’indique une étude réalisée par des analystes de Stanford et de l’Université de Californie.
Les auteurs n’ont pas pu expliquer pourquoi les capacités du réseau de neurones se détériorent.
Dans le cadre de l’expérience, les analystes ont demandé à ChatGPT-3.5 et ChatGPT-4 de résoudre une série de problèmes mathématiques, de répondre à des questions sensibles, d’écrire de nouvelles lignes de code et de démontrer un raisonnement spatial avec des conseils.
En mars, la dernière version de l’intelligence artificielle (IA) a pu identifier les nombres premiers avec une précision de 97,6 %, et en juin, le chiffre est tombé à 2,4 %. Au cours de la même période, le modèle de réseau neuronal antérieur a amélioré ses capacités.
Dans le même temps, lors de la génération de lignes de code identiques, les capacités des deux versions de ChatGPT se sont fortement détériorées au bout de quelques mois.
En mars, l’ancien modèle a fourni des explications plus détaillées sur les raisons pour lesquelles il ne pouvait pas répondre à certaines questions sensibles, telles que l’appartenance ethnique des personnes. Cependant, en juin, les deux versions du réseau de neurones ont commencé à simplement s’excuser.
« Le comportement d’un même grand service de modèle linguistique peut changer de manière significative dans un laps de temps relativement court », indique l’étude.
Les experts ont recommandé aux utilisateurs et aux entreprises qui s’appuient sur les services des réseaux de neurones dans leurs flux de travail de mettre en place une forme d’analyse pour s’assurer que les bots sont à jour.
Rappelons qu’en juillet, les développeurs de ChatGPT ont publié un nouveau plugin pour la version payante, qui peut analyser des données, créer du code Python, construire des graphiques et résoudre des problèmes mathématiques. Le chatbot a pu réfuter scientifiquement la théorie de la « terre plate ».
Voir l’article original sur forklog.com