Nvidia a construit des robots qui s'entraînent à l'aide d'agents de codage IA

Un groupe de huit bras robotiques du laboratoire GEAR de Nvidia a passé les dernières semaines à apprendre par lui-même à insérer des broches, à positionner des cartes graphiques et à couper des attaches. Les seuls humains impliqués étaient ceux qui ont écrit l’article par la suite.

Cette capacité provient d'ENPIRE, un cadre détaillé dans un article publié mardi par des chercheurs de Nvidia, de l'Université Carnegie Mellon et de l'UC Berkeley. ENPIRE délègue toute la tâche de formation d'un robot aux agents de codage de l'IA, le même logiciel qui écrit et teste déjà son propre code, et leur permet d'exécuter ce processus directement sur du matériel physique.

Des agents de codage comme Codex d'OpenAI, Claude Code d'Anthropic et Kimi Code de Moonshot ont passé l'année dernière à faire ce que les chercheurs appellent l'auto-recherche : écrire du code, le tester et le réécrire sans intervention humaine. Ce cycle est resté principalement sur un écran, où relancer une expérience ratée ne coûte rien. ENPIRE vous emmène dans le monde physique, où relancer une expérience implique de déplacer un véritable bras robotique.

Construire « l'Enpire »

Le système divise le travail en deux étapes. Dans le premier, un humain guide l'agent dans la construction de deux outils permanents : une routine de réinitialisation qui ramène l'espace de travail à une nouvelle position de départ, et une fonction de récompense qui surveille les flux de caméra pour réussir – essentiellement un arbitre qui ne cligne jamais des yeux et ne prend jamais de pause déjeuner. Cette configuration se produit une fois, puis est réutilisée pour chaque tentative suivante.

Une fois ces outils disponibles, l’agent prend le contrôle total. Vous recherchez des idées dans les recherches publiées, choisissez entre des méthodes de formation telles que l'apprentissage par imitation, l'apprentissage par renforcement ou les règles manuscrites, puis réécrivez votre propre code et testez le résultat sur le robot. Rien dans cette boucle ne nécessite la surveillance d'un humain, ce qui est soit libérateur, soit légèrement déstabilisant selon ce que vous ressentez à propos d'un robot tenant des ciseaux sans surveillance.

Nvidia a mené l'expérience sur huit stations robotisées bimanuelles, chacune dotée de son propre matériel, ordinateur et agent d'encodage. Les stations échangent leurs progrès via Git, le même outil que les programmeurs utilisent pour fusionner le code, afin qu'une idée gagnante se répande dans toute la flotte en quelques minutes.

Les chercheurs ont mesuré la récompense dans « Push-T », une tâche dans laquelle un robot fait glisser un bloc en forme de T dans une zone cible en utilisant uniquement des poussées et l'insertion de chevilles, où il enfile des chevilles dans des trous de 4 millimètres. Le passage d'un robot à huit a réduit le temps nécessaire pour maîtriser Push-T d'environ cinq heures à deux heures, et l'insertion des broches de plus de 90 minutes à environ 40 minutes.

Dans les quatre tâches testées dans le monde réel, les agents ont mis en œuvre leurs politiques avec un taux de réussite de 99 %, selon le journal. Pour l’insertion des broches, les agents ont atteint une fiabilité presque parfaite plus rapidement qu’une méthode comparable avec des humains dans la boucle, le genre de méthode qui nécessite encore la présence de quelqu’un chaque matin.

Jim Fan de Nvidia, co-responsable du GEAR Lab qui dirige la recherche sur l'IA de l'entreprise, a qualifié le projet d'effort visant à permettre la recherche automatique dans le monde physique pour la première fois. Fan a déclaré que l'équipe avait donné aux agents une flotte de robots, une allocation de GPU et un budget de jetons, puis avait reculé et laissé les robots prendre le relais.

Le fossé entre la simulation et la réalité s’est manifesté presque immédiatement. Les trois agents de codage ont résolu Push-T dans un simulateur, mais deux des trois ont échoué une fois que la même tâche a été transférée à un robot physique, note le journal.

Les simulateurs n'ont pas de problèmes de friction. Les vraies tables le font.

Nvidia a également testé ENPIRE dans RoboCasa, un banc d'essai de cuisine simulé qui évalue les robots sur des tâches telles que l'ouverture d'armoires ou l'extinction de cuisinières en fonction du taux de réussite, heureusement sans risque de mettre le feu à l'endroit. Là, ENPIRE a surpassé à la fois le modèle de bout en bout GR00T de Nvidia et CaP-X, un agent d'outillage qui contourne entièrement la boucle d'auto-sondage.

ENPIRE développe une idée proposée pour la première fois par Nvidia avec Eureka, un système de 2023 qui utilisait un modèle de langage pour écrire des fonctions de récompense pour les robots dans un simulateur au lieu de laisser des ingénieurs humains le faire manuellement. ENPIRE déplace cette boucle d'auto-amélioration du simulateur vers le matériel réel, l'agent concevant ses propres tests au lieu de simplement ses propres récompenses.

La publication intervient la semaine même où Alibaba a dévoilé sa propre poussée d'IA embarquée, la Qwen Robot Suite, un trio de modèles fondamentaux pour la navigation, la manipulation et la simulation physique des robots. Alibaba construit des cerveaux logiciels pour les corps de robots qu'il ne fabrique pas ; Nvidia teste si les agents peuvent exécuter l'intégralité du cycle de recherche sur le matériel qu'il possède, du début à la fin. Les deux pointent vers la même tendance : les robots physiques deviennent la prochaine arène de compétition pour les agents de codage.