OpenAI, la société à l’origine de ChatGPT, a déclaré mercredi qu’elle améliorait les capacités de résolution de problèmes mathématiques du chatbot dans le but de réduire les hallucinations de l’IA.
« L’atténuation des hallucinations est une étape critique vers la construction d’une AGI alignée », a déclaré OpenAI dans un message.
La dernière itération de ChatGPT, GPT-4, publiée en mars, continue de pousser l’IA dans le courant dominant. Mais les chatbots d’IA générative ont toujours eu des problèmes avec les faits et la diffusion de fausses informations, connues familièrement sous le nom d' »hallucinations ».
Les hallucinations d’IA font référence à des cas où une IA génère des résultats inattendus et faux qui ne sont pas pris en charge par des données du monde réel. Les hallucinations de l’IA peuvent être de faux contenus, des nouvelles ou des informations sur des personnes, des événements ou des faits.
OpenAI avertit clairement les utilisateurs de ne pas faire aveuglément confiance à ChatGPT, en présentant une clause de non-responsabilité indiquant : « ChatGPT peut produire des informations inexactes sur des personnes, des lieux ou des événements ».
Bien qu’OpenAI n’ait pas cité d’exemples spécifiques menant aux dernières recherches sur les hallucinations, deux événements récents ont illustré le problème dans des situations réelles.
En avril, Jonathan Turley, un avocat américain de la défense pénale et professeur de droit, a affirmé que ChatGPT l’avait accusé d’avoir commis une agression sexuelle. Pire encore, l’IA a inventé et cité un article du Poste de Washington pour appuyer la réclamation.
La semaine dernière, Steven A. Schwartz, avocat dans Mata c. Avianca Airlines, a admis avoir « consulté » le chatbot comme source lors de la conduite d’enquêtes. Le problème? Les résultats fournis par ChatGPT à Schwartz étaient tous faux.
« C’est la faute du déposant, pour ne pas avoir confirmé les sources fournies par Chat GPT pour les avis juridiques qu’il a fournis », a écrit Schwartz dans l’affidavit déposé auprès du tribunal, ajoutant qu’il était « très désolé » d’avoir utilisé l’intelligence artificielle générative pour compléter l’enquête. Schwartz a juré de ne plus jamais recommencer sans une vérification complète de son authenticité.
En février, le géant de la technologie Microsoft a présenté aux journalistes une démonstration des capacités du chatbot Bing, y compris des rapports sur les revenus, les spécifications de l’aspirateur et les plans de voyage. Les résultats étaient moins que stellaires.
« Je suis étonné que l’équipe Bing ait créé cette démo préenregistrée pleine d’informations inexactes et l’ait présentée au monde avec confiance », a déclaré à Substack le chercheur en intelligence artificielle Dmitri Brereton, qui a assisté à l’événement. « Je suis encore plus étonné que cette astuce ait fonctionné et que tout le monde ait sauté dans le train de l’excitation Bing AI sans faire une once de diligence raisonnable. »
Malgré ces problèmes, Microsoft parie gros sur ChatGPT, intégrant la technologie dans son navigateur Web Bing après un investissement de 13 milliards de dollars dans OpenAI.
Dans leurs recherches, OpenAI a comparé la « surveillance des résultats », qui fournit une rétroaction basée sur un résultat final, et la « surveillance du processus », qui fournit une rétroaction pour chaque étape d’une chaîne de pensée.
« Nous avons évalué nos modèles de récompense supervisés par les processus et les résultats à l’aide de problèmes de la suite de tests mathématiques », a déclaré OpenAI. « Nous générons de nombreuses solutions pour chaque problème, puis choisissons la solution la mieux classée pour chaque modèle de récompense. »
L’équipe de recherche a conclu que la surveillance des processus offrait de meilleures performances car elle encourage le modèle à suivre un processus approuvé par l’homme, tandis que la surveillance des résultats est généralement plus difficile à analyser.
OpenAI a reconnu qu’on ne sait pas comment les résultats se dérouleront au-delà des mathématiques, mais affirme que les travaux futurs devraient explorer l’impact de la surveillance des processus dans d’autres domaines. La société a publié son ensemble complet de données de surveillance des processus pour encourager la recherche.
« Si ces résultats se généralisent, nous pourrions constater que la surveillance des processus nous offre le meilleur des deux mondes : une méthode à la fois plus efficace et plus alignée que la surveillance des résultats », a déclaré OpenAI.
OpenAI n’a pas encore répondu à une demande de commentaire de Décrypter.