L'équipe de la startup Mostik a présenté une méthode qui permet aux modèles d'IA d'échanger des états internes sans générer de texte intermédiaire.
Traditionnellement, lorsque plusieurs réseaux de neurones travaillent ensemble, le texte généré sert de lien intermédiaire. Mostik a abandonné cette étape : au lieu du texte, un module adaptable distinct (« pont ») est utilisé, qui transforme la représentation interne d'un modèle en une forme compréhensible pour un autre.
Les paramètres des modèles eux-mêmes ne sont pas ajustés lors d’une telle interaction.
Selon les développeurs, avant de créer un token LLM génère plus d'une centaine de vecteurs cachés – environ un million de valeurs numériques, soit environ 2 Mo d'état interne. Seule une petite partie de ces informations est incluse dans la réponse textuelle. Le nouveau canal est conçu pour transmettre précisément de telles représentations intermédiaires.
Test sur grands et petits modèles
Pour démontrer la méthode, l’équipe a lié GLM-5.2 de Z.ai pour 753 milliards de paramètres et Qwen-3.5 d’Alibaba pour 4 milliards.
Le modèle plus grand a uniquement traité la demande et n'a pas généré de réponse. Après cela, son état interne a été transmis via le « pont » et le texte final a été formé par Qwen-3.5.
Selon Mostik, cette combinaison a réduit environ la moitié de l'écart de qualité entre les petits et les grands modèles. Par rapport à la transmission de texte conventionnelle, l'avantage de la nouvelle méthode atteint 10 points de pourcentage avec le même nombre de calculs.
Les développeurs ont également comparé le système hybride avec un modèle de taille moyenne, qui a donné des résultats comparables. Selon leurs calculs, la combinaison de GLM-5.2 et Qwen-3.5 a nécessité environ 2,5 fois moins de calculs.
Ils recherchent un « langage » commun entre les modèles
Le chercheur en chef de Mostik, Stanislav Smirnov, a noté que les représentations internes des différents réseaux neuronaux ne peuvent pas être directement comparées entre elles. Même si deux modèles résolvent le même problème, ils peuvent coder différemment les informations reçues dans leurs états cachés.
« Il ne semble pas encore exister de langage mathématique approprié », a-t-il déclaré à WIRED.
L'étude de telles correspondances pourrait aider à mieux comprendre comment les différents systèmes d'IA représentent les informations et prennent des décisions, a déclaré Smirnov. À l’avenir, l’analyse mathématique des états internes pourra également montrer s’il existe des schémas généraux dans le raisonnement des différents modèles.
L'ancien chercheur de Google DeepMind, Karl Tuyles, qui a pris connaissance du développement, a attiré l'attention sur l'aspect pratique de l'approche. Un modèle volumineux et gourmand en ressources ne peut être utilisé que pour traiter la demande, et la génération de la réponse peut être transférée vers un modèle beaucoup plus petit.
Un autre scénario possible consiste à combiner un modèle universel avec un modèle spécialisé. Par exemple, un système peut être responsable du raisonnement général, tandis qu’un autre peut être formé pour résoudre des problèmes liés à la biologie, à la physique ou à un autre domaine spécialisé.
Dans ce cas, leurs capacités pourraient être combinées sans former un seul grand modèle sur l’ensemble des données spécialisées.
L'adorable directeur technique Vladimir Arustamyan a suggéré qu'une telle approche pourrait augmenter la demande de modèles hautement spécialisés : au lieu d'essayer de créer un réseau neuronal pour toutes les tâches, les développeurs pourront combiner plusieurs systèmes avec des compétences différentes.
Bien que de tels scénarios restent potentiels, Mostik a publiquement démontré la méthode uniquement sur des ensembles de modèles distincts.
La méthode a été appliquée dans ARC-AGI-3
L'équipe Mostik a également appliqué son approche à ARC-AGI-3, un ensemble de tâches interactives complexes dans lesquelles l'IA ne doit pas reproduire des modèles familiers, mais comprendre de manière indépendante de nouvelles règles et s'adapter à mesure qu'elle les résout.
Selon les développeurs, le système utilisant leur « pont » a montré l'un des meilleurs résultats du classement actuel. L'équipe ne divulgue pas encore de détails alors que la compétition se poursuit.
Cependant, ce résultat ne peut être considéré comme complètement confirmé de l’extérieur. ARC-AGI-3 contient des données préliminaires avec un statut « aperçu », qui peuvent être basées sur un ensemble incomplet de tests et qui ne sont pas encore considérées comme définitives.
Le reste des paramètres déclarés par Mostik, par exemple la réduction de l'écart entre le grand et le petit modèle et la réduction des coûts de calcul, sont également toujours basés sur les expériences internes de l'équipe.
Rappelons que fin août, OpenAI a découvert un canal de communication secret entre ses agents IA. Ils ont accédé à l’Internet ouvert via le gestionnaire de paquets Artifactory et l’ont transformé en messagerie interne.
Voir l’article original en russe