DeepSeek a introduit une fonctionnalité appelée « Hyperconnexions à contraintes multiples », une nouvelle couche de routage visant à maintenir la stabilité des grands réseaux neuronaux même à mesure qu'ils augmentent en taille, en trafic et en charge adverse.
Comment DeepSeek freine les hyperconnexions avec les « contraintes multiples ».
DeepSeek utilise déjà une architecture Mixture of Experts, où seul un sous-ensemble de paramètres est activé pour chaque jeton. Les hyperconnexions contraintes par la variété affinent cette couche de routage en limitant les interactions entre experts à une variété géométrique bien définie plutôt qu'à un espace de forme libre et riche en variantes.
ALERT, NEW YEAR GIFT FROM DEEPSEEK
mHC: Manifold-Constrained Hyper-Connections
it's a pretty crazy fundamental result! They show stable hyper-connection training. This leth them *scale residual stream width*, with minor compute&memory overhead
This is a *huge model smell* recipe. https://t.co/1OAkJalOng pic.twitter.com/1MWwicnw8G— Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞) (@teortaxesTex) January 1, 2026
Cela signifie que lorsque le réseau transmet des informations entre experts, il projette ces activations dans une région limitée où il existe des limites strictes quant à la mesure dans laquelle elles peuvent dévier en taille et en direction. Cette projection réduit le risque de « pics de perte » et de gradients effrénés lors de la formation et de l’inférence, un problème que l’équipe DeepSeek a souligné comme un point clé de stabilité dans ses modèles V3 et R1. Les tests internes ont enregistré des cycles de formation complets sans le type d'instabilité catastrophique qui se produit souvent dans les très grands modèles avec des plans d'optimisation agressifs, selon les notes techniques de l'entreprise.
La stabilité comme objectif primordial
L'introduction des hyperconnexions multi-restreintes fait suite à une période au cours de laquelle les chercheurs en sécurité et les analystes de l'infrastructure cloud ont mis en évidence les vulnérabilités de la pile DeepSeek, notamment une base de données analytique non protégée et la vulnérabilité aux attaques de jailbreak. Ces résultats ont mis en évidence à quel point l’augmentation rapide de l’utilisation peut mettre à rude épreuve à la fois le modèle et l’infrastructure environnante lorsque stabilité et sécurité ne vont pas de pair.
En qualifiant le nouveau schéma de routage d'outil de stabilité plutôt que de simple amélioration de vitesse, DeepSeek indique qu'il vise un comportement prévisible sous charge, et pas seulement des gains de référence. La documentation de la société indique que l'Hyperconnection Manifold fonctionne avec des stratégies d'attention latente multi-têtes et d'équilibrage de charge, qui visent déjà à répartir uniformément les modèles d'activation des experts. Ensemble, ces éléments tentent d'empêcher un « effondrement expert », où quelques composants dominent le trafic et deviennent des points de défaillance uniques.
Si les hyperconnexions multicouches tiennent leurs promesses, les grands opérateurs auront un meilleur contrôle sur la manière dont les informations circulent à travers leurs réseaux à mesure que le trafic augmente ou que les attaquants recherchent des vulnérabilités. Ce contrôle est important pour des secteurs tels que la finance, la sécurité et les infrastructures critiques, où le comportement imprévisible du modèle peut entraîner des risques démesurés.
En savoir plus: L'action MSTR a été la plus à la traîne de l'indice Nasdaq 100 : va-t-elle rebondir en 2026 ?