Les universitaires sont en désaccord sur un document de recherche suggérant que ChatGPT présente un parti pris politique « important et important » penché vers le côté gauche du spectre politique.
Comme Cointelegraph l’a récemment rapporté, des chercheurs du Royaume-Uni et du Brésil ont publié une étude dans le Choix public journal du 17 août qui affirme que les grands modèles linguistiques (LLM) comme ChatGPT produisent un texte qui contient des erreurs et des préjugés susceptibles d’induire les lecteurs en erreur et qui ont la capacité de promouvoir les préjugés politiques présentés par les médias traditionnels.
Dans une correspondance antérieure avec Cointelegraph, le co-auteur Victor Rangel a expliqué les objectifs de l’article visant à mesurer le biais politique de ChatGPT. La méthodologie des chercheurs consistait à demander à ChatGPT de se faire passer pour quelqu’un d’un côté donné du spectre politique et à comparer ces réponses avec son mode par défaut.
Rangel a déclaré que plusieurs tests de robustesse ont été effectués pour répondre aux facteurs de confusion potentiels et aux explications alternatives, la recherche concluant :
« Nous trouvons des preuves solides que ChatGPT présente un parti pris politique important et systématique en faveur des démocrates aux États-Unis, de Lula au Brésil et du Parti travailliste au Royaume-Uni. »
Il convient de noter que les auteurs ont souligné que l’article ne constitue pas un « dernier mot sur les préjugés politiques de ChatGPT », compte tenu des défis et des complexités impliqués dans la mesure et l’interprétation des préjugés dans les LLM.
Rangel a déclaré que certains critiques soutiennent que leur méthode pourrait ne pas saisir les nuances de l’idéologie politique, que les questions de la méthode pourraient être biaisées ou suggestives, ou que les résultats pourraient être influencés par le caractère aléatoire des résultats de ChatGPT.
Il a ajouté que même si les LLM ont le potentiel « d’améliorer la communication humaine », ils posent « des risques et des défis importants » pour la société.
Le document a apparemment tenu sa promesse de stimuler la recherche et le débat sur le sujet, les universitaires étant déjà confrontés à divers paramètres de sa méthodologie et de ses conclusions.
Parmi les critiques virulents qui se sont tournés vers les médias sociaux pour peser sur les résultats, il y avait le professeur d’informatique de Princeton, Arvind Narayanan, qui a publié un article approfondi sur Medium présentant une critique scientifique du rapport, de sa méthodologie et de ses conclusions.
Un nouveau journal affirme que ChatGPT exprime des opinions libérales, d’accord avec les démocrates la grande majorité du temps. Quand @sayashk et j’ai vu ça, nous savions qu’il fallait creuser. Les méthodes du journal sont mauvaises. La vraie réponse est compliquée. Voici ce que nous avons trouvé. https://t.co/xvZ0EwmO8o
-Arvind Narayanan (@random_walker) 18 août 2023
Narayanan et d’autres scientifiques ont fait valoir qu’il y avait un certain nombre de problèmes liés à l’expérience, premièrement, les chercheurs n’avaient pas réellement utilisé ChatGPT lui-même pour mener l’expérience :
« Ils n’ont pas testé ChatGPT ! Ils ont testé text-davinci-003, un modèle plus ancien qui n’est pas utilisé dans ChatGPT, que ce soit avec le paramètre GPT-3.5 ou GPT-4.
Narayanan a également suggéré que l’expérience ne mesurait pas les préjugés mais demandait à ChatGPT de jouer le rôle de membre d’un parti politique. En tant que tel, le chatbot d’intelligence artificielle (IA) afficherait des tendances politiques à gauche ou à droite lorsqu’il serait invité à jouer un rôle en tant que membres de l’un ou l’autre côté du spectre.
Le chatbot était également contraint de répondre uniquement à des questions à choix multiples, ce qui pouvait avoir limité sa capacité ou influencé le biais perçu.
ok donc j’ai lu l’article « GPT a un parti pris libéral » maintenant https://t.co/fwwEaZ757E ainsi que le matériel supplémentaire https://t.co/F5g3kfFQFU et comme je m’y attendais, j’ai beaucoup de problèmes avec cela méthodologiquement. J’ai essayé d’en reproduire une partie et j’ai trouvé des problèmes intéressants
…
-Colin Fraser | @colin-fraser.net sur bsky (@colin_fraser) 18 août 2023
Colin Fraser, data scientist chez Meta (selon sa page Medium), a également proposé une critique de l’article sur X (anciennement Twitter), mise en évidence l’ordre dans lequel les chercheurs ont posé les questions à choix multiples avec un jeu de rôle et sans avoir une influence significative sur les résultats générés par l’IA :
« Cela signifie qu’en modifiant l’ordre rapide de Dem first à Rep first, vous augmentez le taux d’accord global pour le personnage Dem sur toutes les questions de 30 % à 64 %, et diminuez de 70 % à 22 % pour la représentation. »
Comme Rangel l’avait déjà noté, la nature des LLM et les résultats qu’ils produisent suscitent un grand intérêt, mais des questions subsistent quant au fonctionnement de ces outils, à leurs biais et à la manière dont ils peuvent potentiellement affecter les opinions et les comportements des utilisateurs. .
Cointelegraph a contacté Narayanan pour obtenir de plus amples informations sur sa critique et le débat en cours sur les préjugés dans les grands modèles d’apprentissage des langues, mais n’a pas reçu de réponse.
Récupérez cet article en tant que NFT pour préserver ce moment de l’histoire et montrer votre soutien au journalisme indépendant dans l’espace crypto.
Magazine : « Responsabilité morale » : la blockchain peut-elle vraiment améliorer la confiance dans l’IA ?