Une nouvelle étude signée par Kirill Skobelev et publié le 15 septembre 2026, remet en question une idée devenue presque banale dans le débat sur l'intelligence artificielle : celle selon laquelle les grands modèles linguistiques produisent toujours des réponses trop similaires les unes aux autres. La recherche montre que le Diversité de sortie LLM il ne suit pas une direction fixe, mais dépend du modèle spécifique et de l'ensemble de données utilisé pour l'entraîner, renversant partiellement les conclusions de travaux antérieurs qui avaient tiré la sonnette d'alarme sur ce que l'on appelle l'effondrement des modalités.
Points clés
- L'effondrement des modes décrit un phénomène dans lequel les réponses d'un LLM se répètent ou se ressemblent plus qu'elles ne le devraient par rapport à la population de référence.
- La diversité des résultats peut être trop faible ou trop élevée, selon le modèle et l'ensemble de données utilisés.
- Avec suffisamment de données dans le mise au point superviséela diversité du modèle converge vers celle de la distribution cible.
- L'écart de diversité est mathématiquement limité par la racine carrée de la divergence de Kullback-Leibler entre le modèle et la cible.
- Des expériences sur des langages synthétiques, des enquêtes humaines et l'ensemble de données CodeNet confirment les prédictions théoriques.
Problèmes d'effondrement des modes et de diversité dans les grands modèles linguistiques
Le point de départ de l’étude reprend les préoccupations apparues dans des travaux récents comme ceux de Doshi et Hauser (2024), Bisbee et coll. (2024) Et Xie et coll. (2026)selon lequel les résultats des modèles linguistiques auraient tendance à être sous-diversifiés, se répétant ou se ressemblant plus souvent que ce que l’on pourrait attendre de la population qu’ils sont censés représenter. Ce phénomène, connu sous le nom effondrement du mode dans LLMest au centre du débat sur la manière dont un modèle reflète réellement la variété du monde réel lors de la génération de texte.
Définition et métriques du mode d'effondrement
Pour mesurer concrètement cet effet, la recherche introduit une métrique précise : la probabilité que deux réponses, échantillonnées indépendamment à partir de la même invite fixe, coïncident l’une avec l’autre – ce qu’on appelle la probabilité de collision. Alternativement, la similarité moyenne attendue entre les réponses peut être calculée à l'aide d'un noyau. Ces outils permettent de comparer quantitativement la dispersion des réponses du modèle avec celle de la distribution cible d'où proviennent les données d'entraînement.
Variabilité de la diversité entre les modèles et les ensembles de données
La donnée la plus significative concerne toutefois le sens de l’erreur. L’étude montre que l’effondrement des modalités, ou son contraire, se produit différemment selon le modèle spécifique et l’ensemble de données utilisés : il n’y a donc pas de tendance universelle vers la sous-diversité. Certains modèles finissent par produire des réponses trop homogènes, tandis que d’autres génèrent des résultats plus dispersés que prévu par rapport aux données réelles. Cet aspect est important car il détourne l’attention de la question « les modèles s’effondrent-ils toujours ? à une question plus utile : « dans quelles conditions un modèle spécifique est-il susceptible de faire cela ? ».
Impact du réglage fin supervisé sur la diversité des résultats
L'un des résultats centraux concerne la Effets de réglage fin supervisés sur le calage de la diversité : lorsque la quantité de données utilisée pour le réglage fin est suffisante, la diversité des réponses générées par le modèle converge vers celle de la distribution cible dont sont issues les données elles-mêmes. En d’autres termes, plus le modèle reçoit de données de qualité lors de la formation supervisée, plus ses résultats ont tendance à s’aligner sur le comportement réel observé dans les données d’origine.
Effet du volume de données pour le réglage fin
Dans les expériences menées par les chercheurs, l’augmentation de la quantité de données cibles lors du réglage fin a systématiquement déplacé la diversité des modèles vers le niveau observé dans les données de base humaines ou synthétiques. Cet effet a été constaté dans toutes les configurations testées, confirmant que le Variations de diversité LLM il ne s'agit pas d'un phénomène statique mais de quelque chose qui peut être corrigé avec une plus grande affiner l’alignement des données.
Absence de biais intrinsèque en faveur de l’effondrement des modes
Ici apparaît peut-être le point le plus surprenant de la recherche : le réglage fin supervisé n’est intrinsèquement orienté ni vers l’effondrement des modes, ni vers son contraire. Avec un nombre fini d'échantillons, le processus de formation peut laisser un modèle sous-dispersé ou sur-dispersé, selon les caractéristiques du modèle et de l'ensemble de données en question. Il n’y a donc pas de défaut structurel dans la méthode de réglage fin elle-même : le problème, lorsqu’il apparaît, découle d’une erreur liée à la taille finie de l’échantillon de données utilisé, et non d’un défaut systémique de la technique.
Cadre théorique et validation
Pour expliquer d'où vient cet écart, l'étude propose une analyse qui permet de comprendre pourquoi le Calibrage du modèle IA sur la diversité peut échouer même sans erreurs évidentes de formation.
Décomposition biais-variance de l’écart de diversité
Les chercheurs décomposent l’écart attendu entre la probabilité de collision du modèle et celle de la cible à l’aide d’une décomposition biais-variance. Cet outil mathématique permet d'isoler les deux composantes qui génèrent l'écart et de démontrer formellement qu'un réglage fin peut produire des erreurs dans les deux sens, expliquant ainsi pourquoi certains modèles s'effondrent et d'autres se dispersent trop.
Limite mathématique via divergence KL
Le résultat théoriquement le plus pertinent concerne une borne supérieure : l’écart de diversité absolu est limité par la racine carrée de la divergence de Kullback-Leibler entre les distributions cible et modèle. Cela signifie, en pratique, qu'un modèle suffisamment proche de l'optimum en ce qui concerne l'entropie croisée sur la population ne peut pas montrer une diversité à une échelle arbitraire. Il s’agit d’une contrainte importante car elle relie deux mesures apparemment distinctes – la qualité prédictive du modèle et sa fidélité à la variabilité des réponses – démontrant qu’elles ne peuvent pas infiniment diverger l’une de l’autre.
Validation empirique sur différentes expériences
Pour tester ces prédictions théoriques sur le terrain, l'étude a mené trois séries d'expériences : de petits transformateurs formés sur des langages synthétiques, quatre LLM soumis à un réglage fin sur des enquêtes humaines, et les mêmes modèles affinés sur l'ensemble de données. CodeNetune collection de solutions de code écrites par des personnes. Dans toutes les configurations, l'augmentation des données cibles a déplacé la diversité du modèle vers le niveau de base humain ou synthétique, confirmant systématiquement à la fois la décomposition biais-variance et la limite basée sur la divergence KL.
Ces résultats indiquent que le mauvais calibrage de la diversité résulte d'une erreur liée à la taille finie de l'échantillon et est progressivement réduit à mesure que le réglage fin supervisé parvient à mieux se rapprocher de la distribution cible. Pour ceux qui travaillent dans le développement de modèles de langage, le message pratique est clair : le problème de l’effondrement des modalités n’est pas une fatalité inévitable de la technologie, mais une question de quantité et de qualité des données de formation disponibles.
FAQ
Qu’est-ce que l’effondrement des modalités dans les grands modèles de langage ?
L'effondrement des modes se produit lorsque les résultats d'un LLM se répètent ou se ressemblent plus souvent que ne l'indiquerait la distribution cible de référence.
Comment la mise au point supervisée affecte-t-elle la diversité des résultats d'un LLM ?
Des données suffisantes dans le cadre d’un réglage fin supervisé aligne la diversité des sorties du modèle plus près de la distribution cible, réduisant ainsi à la fois l’effondrement des modes et la dispersion excessive.
Le réglage fin supervisé est-il intrinsèquement biaisé vers l’augmentation ou la diminution de la diversité ?
Non, le réglage fin supervisé n'est pas intrinsèquement orienté vers l'effondrement des modes ou son contraire : les effets de taille d'échantillon finie peuvent provoquer une sous-dispersion ou une sur-dispersion selon les cas.
Quels outils théoriques sont utilisés pour comprendre la mise à l’échelle de la diversité dans les LLM ?
Une décomposition biais-variance et une borne basée sur la racine carrée de la divergence de Kullback-Leibler décrivent l'écart entre la diversité du modèle et celle de la distribution cible.
Contenu créé avec l’aide de l’intelligence artificielle et de la révision éditoriale humaine.
Voir l’article original en italien
