NVIDIA a lancé Cosmos 3 Edge, un modèle de monde ouvert de 4 milliards de paramètres conçu pour apporter une intelligence artificielle avancée directement aux appareils de périphérie, révolutionnant ainsi la vision de l'IA en temps réel et les capacités robotiques sans dépendre du cloud.
Points clés
- Cosmos 3 Edge est un modèle de monde ouvert de 4 milliards de paramètres pour la robotique et la vision de l'IA sur les appareils de pointe.
- Prend en charge l'inférence à haute efficacité sur les GPU NVIDIA Jetson, RTX PRO et le matériel DGX
- Il réalise un contrôle robotique en temps réel à 15 Hz avec 32 actions par inférence
- Classé n°1 sur VANTAGE-Bench pour l'analyse visuelle
- Comprend une politique spécialisée pour les tâches robotisées de sélection et de placement
Principales caractéristiques du modèle du monde ouvert
Cosmos 3 Edge représente une avancée significative dans l'intégration de l'intelligence artificielle et de la robotique sur les appareils de pointe. Le modèle, disponible via le référentiel Cosmos 3 de Hugging Face, offre des performances comparables à celles d'un centre de données sur les systèmes à mémoire limitée.
La compatibilité matérielle inclut la gamme complète de périphériques NVIDIA Edge, des modules Jetson T2000 et T3000 récemment annoncés aux GPU RTX PRO, DGX et GeForce RTX. Cette polyvalence permet au modèle d'être mis en œuvre dans des contextes opérationnels réels tels que des usines, des entrepôts et des environnements de soins de santé.
Performances et compatibilité matérielle
Les performances du Cosmos 3 Edge sont particulièrement impressionnantes sur le module NVIDIA Jetson Thor, où il atteint un contrôle robotique en temps réel à 15 Hz tout en générant 32 actions pour chaque inférence. Cette capacité de traitement permet aux robots de comprendre leur environnement, de raisonner en temps réel et de générer des actions directement sur les appareils de pointe.
Architecture innovante pour le raisonnement et les actions
L'architecture Cosmos 3 Edge combine deux tours de transformation distinctes mais complémentaires : une tour autorégressive pour traiter les jetons visuels et textuels à des fins de compréhension et de raisonnement, et une tour de diffusion pour gérer les jetons visuels, audio et d'action à des fins de prédiction et de génération.
Les deux tours maintiennent des couches de normalisation distinctes mais partagent des couches d'attention multimodales, alignant les informations à travers la parole, la vidéo, l'audio et les actions. Cette conception permet au modèle de raisonner sur une scène avant de générer une sortie, en adaptant le modèle d'attention au type d'informations traitées.
Représentation géométrique partagée pour les actions physiques
L'un des aspects les plus innovants de Cosmos 3 Edge est sa capacité à cartographier différentes incarnations physiques en une représentation d'action commune. Les actions sont codées sous forme de vecteurs géométriques compacts qui capturent le mouvement, les relations spatiales et les entrées de contrôle, créant ainsi une connexion directe entre le contrôle et la structure visuelle du monde.
Applications et extensions en robotique
En plus du modèle de base, NVIDIA a publié Cosmos 3 Edge Policy (DROID), une politique de manipulation robotique post-formée sur l'ensemble de données DROID spécifiquement pour les tâches de sélection et de placement. Ce composant spécialisé comprend des scripts post-formation qui permettent aux développeurs d'adapter le modèle à leurs charges de travail spécifiques.
Les développeurs peuvent utiliser des clusters H100 ou des stations NVIDIA DGX pour affiner efficacement Cosmos 3 Edge avant de le déployer sur les plates-formes Edge NVIDIA. Cette approche modulaire permet une personnalisation approfondie pour des applications spécifiques sans compromettre les performances.
Ressources pour les développeurs et personnalisation
NVIDIA fournit des points de contrôle de référence post-formation et des recettes de formation pour aider les développeurs à adapter et optimiser Cosmos 3 pour leurs applications. Ces outils incluent le point de contrôle de distillation Cosmos 3 Super 4-Step, qui réduit les étapes de débruitage de 35 à 50 à seulement 4, offrant des inférences jusqu'à 25 fois plus rapides tout en préservant la qualité de l'image et de la vidéo.
Leadership en matière de benchmarks et de développements futurs
Parmi les modèles de taille similaire (4 milliards de paramètres), Cosmos 3 Edge se classe premier sur VANTAGE-Bench pour l'analyse visuelle et représente l'état de l'art en matière d'apprentissage des politiques des robots. Ce leadership en matière de benchmarks démontre l'efficacité du modèle dans le domaine des infrastructures intelligentes et de la robotique.
NVIDIA continue de faire progresser le développement de Cosmos 3 pour l'IA physique, avec des améliorations attendues en matière de génération de mondes interactifs, de simulation de scénarios de conduite et de politiques robotiques. L'entreprise investit également dans une inférence plus rapide et une post-formation plus efficace sur une gamme plus large de matériel.
Améliorations et optimisations prévues
La feuille de route de développement comprend l'optimisation des points de contrôle Cosmos 3 avec des cadres d'inférence et d'optimisation ouverts comme vLLM, avec des optimisations supplémentaires et des outils de développement en cours. Ces améliorations réduiront encore davantage le temps et la puissance de calcul nécessaires à la création de modèles en aval.
FAQ
Qu'est-ce que NVIDIA Cosmos 3 Edge ?
Il s'agit d'un modèle de monde ouvert de 4 milliards de paramètres qui permet aux robots et aux agents de vision IA de comprendre, raisonner et agir en temps réel sur les appareils de pointe.
Quel matériel Cosmos 3 Edge prend-il en charge pour l’inférence ?
Prend en charge l'inférence économe en mémoire sur le matériel NVIDIA Edge, notamment les modules Jetson (T2000, T3000, Thor), le GPU NVIDIA RTX PRO, NVIDIA DGX et le GPU GeForce RTX.
Comment Cosmos 3 Edge réalise-t-il un contrôle robotique en temps réel ?
Le modèle génère 32 actions par inférence et contrôle les robots à 15 Hz sur NVIDIA Jetson Thor, permettant un raisonnement et un contrôle en temps réel.
Les développeurs peuvent-ils personnaliser Cosmos 3 Edge pour leurs propres cas d’utilisation ?
Oui, les développeurs peuvent affiner le modèle à l'aide de clusters avec du matériel NVIDIA H100 ou DGX et utiliser des points de contrôle post-entraînement de référence et des recettes de formation.
Contenu créé avec l’aide de l’intelligence artificielle et de la révision éditoriale humaine.
Voir l’article original en italien
