Comment les puces IA surmontent le « mur de la mémoire »
Traditionnellement consommateur GPU conçu pour les jeux vidéo et le rendu. Cependant, ils peuvent également effectuer d’autres tâches nécessitant un calcul parallèle.
Sur un GPU, vous pouvez exécuter, par exemple, un mineur PoW pour miner des crypto-monnaies, mais face à la concurrence des équipements spécialisés, les fermes GPU sont devenues une solution pour des projets de niche.
Une situation similaire se développe dans le domaine de l’IA. Les cartes vidéo sont devenues le principal outil informatique des réseaux de neurones. Mais à mesure que le secteur a évolué, une demande est apparue pour des solutions spécialisées en IA. ForkLog a découvert la nouvelle manche de la course dans le domaine de l'intelligence artificielle.
Optimiser le silicium pour l'IA
Il existe plusieurs approches pour créer des équipements spécialisés pour les tâches d'intelligence artificielle.
Les GPU grand public peuvent être considérés comme le point de départ sur la voie de la spécialisation. Leur capacité à gérer des calculs matriciels parallèles était utile pour le déploiement de réseaux de neurones et en particulier d’apprentissage profond, mais il restait encore beaucoup à faire.
L’un des principaux défis de l’IA sur une carte graphique est la nécessité de déplacer constamment de grandes quantités de données entre la mémoire système et le GPU. Ces processus d’accompagnement peuvent prendre plus de temps et d’énergie que les calculs utiles eux-mêmes.
Un autre problème des GPU vient de leur polyvalence. L'architecture des cartes vidéo est conçue pour un large éventail de tâches, du rendu graphique à l'informatique générale. En conséquence, certaines unités matérielles sont redondantes pour les charges de travail spécialisées en IA.
Une autre limitation est le format des données. Historiquement, les GPU ont été optimisés pour les opérations FP32, 32 bits à virgule flottante. Pour l'inférence et la formation, des formats de précision inférieure sont généralement utilisés : FP16 et BF16 16 bits, entiers INT4 et INT8.
Nvidia H200 et B200
Certains des produits les plus populaires pour l'inférence et la formation – les puces H200 et les systèmes serveurs DGX B200 – sont essentiellement des GPU « renforcés » pour les centres de données.
Le principal élément centré sur l’IA de ces accélérateurs est noyaux tenseurs, conçu pour les opérations matricielles ultra-rapides telles que la formation de modèles et inférence par lots.
Pour réduire la latence lors de l'accès aux données, Nvidia équipe ses cartes d'une énorme quantité de mémoire hautes performances (HBM, High Bandwidth Memory). Le H200 dispose de 141 Go de HBM3e avec un débit de 4,8 To/s, et le B200 dispose d'encore plus de données selon la configuration.
Unité de traitement tensoriel
En 2015, Google a développé le Tensor Processing Unit (TPU), un processeur ASIC basé sur une matrice systolique conçu pour l'apprentissage automatique.
Dans l'architecture des processeurs classiques – CPU et GPU – chaque opération implique la lecture, le traitement et l'écriture de données intermédiaires en mémoire.
Le TPU transmet les données à travers un tableau de blocs, chacun effectuant une opération mathématique et transmettant le résultat au suivant. L'accès à la mémoire se produit uniquement au début et à la fin d'une séquence de calculs.
Cette approche permet de consacrer moins de temps et d'énergie aux calculs d'IA qu'un GPU non dédié, mais travailler avec de la mémoire externe reste un facteur limitant.
Cérébraux
La société américaine Cerebras a trouvé le moyen d'utiliser comme processeur une seule plaquette de silicium, généralement découpée en éléments plus petits pour produire des puces.
En 2019, les développeurs ont présenté leur premier moteur Wafer-Scale Engine de 300 mm. En 2024, la société a lancé un processeur WSE-3 amélioré avec une puce de 460 mm et 900 000 cœurs.
L'architecture Cerebras consiste à distribuer des blocs de mémoire SRAM à proximité immédiate des modules logiques sur la même plaquette de silicium. Dans le même temps, chaque cœur fonctionne avec ses propres 48 Ko de mémoire locale et n'entre pas en concurrence avec les autres cœurs pour l'accès.
Selon les développeurs, de nombreux modèles n'ont besoin que d'un seul WSE-3 pour l'inférence. Pour des tâches à plus grande échelle, il est possible d'assembler un cluster de plusieurs puces de ce type.
GroqLPU
Groq (à ne pas confondre avec Grok de xAI) propose ses propres ASIC d'inférence basés sur l'architecture Language Processing Unit (LPU).
L'une des principales caractéristiques des puces Groq est leur optimisation pour les opérations séquentielles.
L'inférence repose sur la génération séquentielle de tokens : chaque étape nécessite la finalisation de la précédente. Dans de telles conditions, les performances dépendent davantage de la vitesse d’un thread que du nombre de threads.
Contrairement aux processeurs traditionnels à usage général et à certains appareils spécifiques à l'IA, Groq ne génère pas d'instructions machine au fur et à mesure de la progression de la tâche. Chaque opération est planifiée à l'avance dans une sorte de « planning » et est liée à un moment précis du fonctionnement du processeur.
Dans le même temps, comme un certain nombre d'autres accélérateurs d'IA, LPU combine des modules logiques et de mémoire sur une seule puce pour minimiser les coûts de transfert de données.
Taalas
Tous les exemples ci-dessus impliquent un haut degré de programmabilité. Le modèle et les poids requis sont chargés dans une mémoire réinscriptible. A tout moment, l'opérateur peut charger un modèle complètement différent ou effectuer des réglages.
Avec cette approche, les performances dépendent de la disponibilité, de la vitesse et de la taille de la mémoire.
Les développeurs de Taalas sont allés plus loin en décidant de « câbler » un modèle spécifique avec des échelles prêtes à l'emploi directement dans la puce au niveau de l'architecture du transistor.
Le modèle, qui est généralement logiciel, est implémenté dans le matériel, éliminant ainsi le besoin d'un magasin de données universel distinct et les coûts associés.
Dans sa première solution, la carte de référence HC1, la société a utilisé le modèle ouvert Llama 3.1 8B.
La carte prend en charge une précision faible jusqu'aux paramètres 3 bits et 6 bits, permettant un traitement plus rapide. Selon les propres déclarations de Taalas, le HC1 traite jusqu'à 17 000 jetons par seconde, tout en restant un appareil relativement bon marché avec une faible consommation d'énergie.
La société revendique des performances mille fois supérieures à celles des GPU en termes de consommation d’énergie et de coût.
Cependant, cette méthode présente un inconvénient fondamental : l'impossibilité de mettre à jour le modèle sans remplacer complètement la puce.
Dans le même temps, HC1 était équipé du support LoRA – la méthode « d'ajustement » LLM en ajoutant des poids supplémentaires. Avec la bonne configuration LoRA, un modèle peut devenir un expert du domaine.
Un autre défi concerne le processus de conception et de production de tels « modèles physiques ». Le développement d'ASIC coûte beaucoup d'argent et peut prendre des années. Dans un secteur de l’IA hautement compétitif, il s’agit d’une limitation importante.
Taalas annonce une nouvelle méthode de génération d'architectures de processeur pour résoudre ce problème. Le système automatique transforme un modèle et un ensemble de poids en un modèle de puce fini en une semaine.
Selon les propres estimations de l'entreprise, le cycle de production depuis l'obtention d'un nouveau modèle jusqu'alors inconnu jusqu'à la sortie des puces finies avec sa réalisation physique prendra environ 2 mois.
L'avenir de l'inférence locale
Les nouvelles puces d’IA spécialisées occupent principalement de l’espace dans les installations massives des centres de données, fournissant des services cloud moyennant des frais. Les solutions non triviales jusqu'aux « modèles physiques » implémentés directement dans le silicium ne font pas exception.
Pour le consommateur, une avancée technologique révolutionnaire se traduira par des services moins chers et un travail plus rapide.
Dans le même temps, l’émergence de puces plus simples, moins chères et économes en énergie crée les conditions préalables à la vulgarisation de solutions locales d’inférence.
On trouve déjà des puces IA spécialisées dans les smartphones et les ordinateurs portables, les caméras de surveillance et même les sonnettes. Ils vous permettent d'effectuer des tâches localement, offrant une faible latence, une autonomie et une confidentialité.
L'optimisation radicale, bien qu'au détriment de la flexibilité dans le choix et le remplacement d'un modèle, étend considérablement les capacités de ces appareils et permet d'intégrer des composants d'IA simples dans des produits de masse bon marché.
Si la plupart des utilisateurs commencent à diriger leurs demandes vers des modèles fonctionnant sur des appareils locaux, la pression sur la capacité des centres de données pourrait s'atténuer, réduisant ainsi le risque de submerger le secteur. Peut-être qu'il ne sera alors pas nécessaire de chercher des moyens radicaux pour augmenter la puissance de calcul, comme les mettre en orbite.
Vous avez trouvé une erreur dans le texte ? Sélectionnez-le et appuyez sur CTRL+ENTRÉE
Newsletters ForkLog : restez à l’écoute de l’industrie Bitcoin !
Voir l’article original en russe
