ChatGPT peut-il jouer à Doom ? Oui, mais c’est terrible

Des ingénieurs, des chercheurs et des amateurs intrépides de tous bords ont prouvé que le jeu de tir classique à la première personne Doom peut être joué sur presque tout, y compris une tondeuse à gazon et même des bactéries intestinales. Mercredi, Adrian de Wynter, un scientifique de haut niveau chez Microsoft, a démontré que le populaire chatbot IA ChatGPT peut jouer à Doom, même s’il n’est pas très bon dans ce domaine.

Explorer les différents appareils et autres inventions sur lesquels Doom peut fonctionner est devenu un passe-temps de plus en plus populaire parmi les pirates informatiques, les chercheurs et les passionnés de technologie. Pour que Doom fonctionne avec ChatGPT, de Wynter l’a associé au GPT-4V (Vision) multimodal d’OpenAI afin que le chatbot puisse y jouer.

Les résultats de l’expérience Doom/ChatGPT ont montré que malgré les progrès de GPT-4 et de sa variante améliorée par la vision, le modèle d’IA n’était pas en mesure d’exécuter Doom de manière indépendante en raison de limitations dans la saisie et le rendu des images.

« Par exemple, si le modèle tombait dans une flaque d’acide, puis restait coincé dans un mur, il ‘oublierait’ qu’il subissait des dégâts à cause de l’acide », a déclaré de Wynter, « et ensuite il resterait coincé et mourrait ». .»

Un autre problème auquel Wynter était confronté était la tendance du modèle d’IA à halluciner et à inventer des explications pour ses actions, ou à mentir en disant qu’il avait accompli une action. Cela a laissé le Space Marine de Doom à la merci de monstres déchaînés.

GPT-4, a réussi à atteindre la dernière salle du jeu… mais une seule fois. La simplicité de Doom, a-t-il déclaré, facilite son utilisation en raison de sa portabilité, et sa nature open source permet de meilleurs points de référence pour mesurer les agents intelligents, car Doom nécessite de lourdes capacités de raisonnement, telles que la planification au moment de l’action.

« C’est intéressant! » de Wynter a dit à GG de Décrypter. « Il s’agit principalement d’un mème (« Mon grille-pain peut-il exécuter Doom ? ») en raison de sa portabilité et de son open source. C’est principalement la raison pour laquelle il reste le jeu de prédilection.

De Wynter a souligné que le projet a été réalisé uniquement en sa qualité de chercheur à l’Université de York et n’a aucun rapport avec son travail chez Microsoft.

« Le débogage a pris beaucoup de temps. Normalement, je jetais les cadres et je les vérifiais pour m’assurer que rien n’était cassé », a-t-elle déclaré, soulignant des problèmes constants. « Finalement, j’ai abandonné et transformé les images en GIF. »

Le projet de Wynter n’est que le dernier d’une série d’expériences visant à jouer à Doom dans des lieux insolites.

L’année dernière, après le lancement du protocole Ordinals, une version simplifiée de Doom a été enregistrée sur la blockchain Bitcoin sous le numéro 466. Plus tôt cette année, un projet similaire a ajouté une version complète de Doom à la blockchain Dogecoin.

Bien que cette tentative visant à faire jouer l’IA à Doom soit unique, de Wynter a déclaré qu’il avait des idées pour de futures expériences de jeu utilisant de grands modèles de langage (LLM).

« Mon principal intérêt de recherche est lié aux capacités de raisonnement et de planification du LLM, donc les jeux, en général, sont un excellent banc d’essai pour cela », a-t-il déclaré. « Les jeux de stratégie sont un peu hors de propos en ce moment, mais je me demande si des jeux plus simples (ou d’autres modèles) pourraient donner de meilleurs résultats. »

Edité par Andrew Hayward