Mélange d'experts : du routage clairsemé au déploiement multimodal

Auteurs : Ahmed ElKady, Ahmed Y. Radwan, Shaina Raza

Les modèles à mélange d'experts (MoE) ont beaucoup plus de paramètres qu'ils n'en activent. Pour chaque jeton qui les traverse, un routeur optimisé sélectionne uniquement un petit sous-ensemble de sous-réseaux spécialisés, appelés experts, à exécuter, laissant les autres inactifs. Il en résulte un modèle dont la capacité augmente sans que la charge de calcul par jeton n'augmente proportionnellement.

Cet article décrit le fonctionnement en deux parties. La première présente l'architecture de A à Z : comment le routeur prend des décisions, comment le système est équilibré et comment la spécialisation émerge de l'entraînement plutôt que de la conception. La deuxième relate les résultats de nos tentatives d'optimisation d'un modèle MoE multimodal de 35 milliards de paramètres sur quatre GPU A100. Nous avons testé cinq approches de partitionnement qui ont toutes échoué, puis nous avons identifié la solution qui a finalement fonctionné. Finalement, une analyse détaillée du routage, couche par couche, a permis de comprendre comment le modèle répartit la capacité entre l'audio, la vidéo et le texte. Un cahier exécutable couvrant l'intégralité du processus d'entraînement est disponible à la fin d'article.

Pourquoi les modèles plus grands sont devenus la norme

La plupart des modèles de langage modernes reposent sur l'architecture Transformer, ce qui a permis d'entraîner efficacement et à grande échelle de grands modèles de séquences. Ces modèles traitent le texte par jetons : de petites unités comme des mots, des fragments de mots ou la ponctuation. Depuis, les progrès ont globalement suivi une tendance claire : lorsque la taille du modèle, les données d'entraînement et la puissance de calcul sont augmentées simultanément, les performances ont tendance à s'améliorer [ 2 ].

La mise à l'échelle dense a un coût direct : chaque jeton utilise la même capacité de propagation directe complète à chaque couche. Dans les modèles denses, l'ajout de capacité de propagation directe augmente donc non seulement la taille totale du modèle, mais aussi les besoins en calcul, en mémoire, en énergie et en infrastructure de service pour son entraînement et son déploiement. Cela soulève une question pratique : peut-on augmenter la capacité d'un modèle sans que chaque jeton n'en supporte la totalité ?

Mélange d'experts : capacité accrue, utilisée de manière sélective

L'architecture de réseau neuronal Mixture-of-Experts (MoE) décompose un modèle en plusieurs sous-réseaux spécialisés, appelés experts, et achemine dynamiquement les entrées vers les experts les plus pertinents pour une tâche donnée. Proposée initialement dans les premiers travaux sur les réseaux neuronaux modulaires, la MoE adopte une stratégie de type « diviser pour régner » où le calcul est distribué entre plusieurs experts spécialisés [ 3 , 4 ]. Contrairement aux modèles denses qui activent tous les paramètres pour chaque entrée, les modèles MoE utilisent un routeur pour activer sélectivement les experts les plus pertinents, augmentant ainsi la capacité tout en préservant l'efficacité du calcul.

L'architecture MoE propose également une stratégie de mise à l'échelle différente : augmenter la capacité totale du modèle sans l'activer complètement pour chaque jeton. Plutôt que d'étendre un réseau de neurones à propagation avant (FFN) partagé, une couche MoE le remplace généralement par un ensemble de FFN experts et un routeur optimisé [ 5 ]. Pour chaque jeton, le routeur sélectionne un petit sous-ensemble d'experts à exécuter, tandis que les autres experts routés restent inactifs. Ce mécanisme est connu sous le nom de calcul conditionnel .

Figure 1. Comparaison entre un réseau de neurones denses à propagation avant (FFN) et un FFN à mélange d'experts (MoE). Dans un FFN dense, chaque jeton d'entrée est traité par le même bloc de propagation avant partagé. Dans un FFN MoE, un routeur assigne chaque jeton à un petit sous-ensemble d'experts (les k meilleurs), et les sorties des experts sélectionnés sont combinées par une somme pondérée, ce qui augmente la capacité totale du modèle tout en minimisant la charge de calcul par jeton.

Par exemple, une couche MoE peut contenir 16 experts, mais acheminer chaque jeton seulement vers les deux meilleurs. Pour chaque jeton, le modèle peut puiser parmi l'ensemble des 16 experts, tandis qu'un jeton donné n'en active que deux. C'est le compromis fondamental du MoE : un plus grand nombre total de paramètres, mais seulement un sous-ensemble de paramètres d'experts activés par jeton . Les Transformers Switch [ 6 ], une architecture MoE simplifiée, montrent que le routage clairsemé s'adapte aux modèles extrêmement grands tout en conservant un mécanisme de routage simple, y compris une configuration « top-1 » dans laquelle chaque jeton est envoyé à un seul expert.

Le routeur : choisir les experts qui gèrent

Le routeur détermine quels experts traitent chaque jeton, ce qui rend le MoE conditionnel. Pour chaque représentation de jeton x , le routeur produit un score pour chaque expert disponible :

(1)

où W _r est une matrice de routage apprise. Ces scores sont normalisés par une fonction softmax afin de former une distribution de probabilité sur les experts :

(2)

Le modèle sélectionne ensuite les k experts ayant les probabilités de routage les plus élevées. Si k = 2 , le jeton est envoyé à ses deux experts les plus pertinents ; si k = 1 , il est envoyé à un seul. Le résultat final est une combinaison pondérée des réponses des experts sélectionnés.

(3)

Dans l'équation (3), les valeurs des portes proviennent directement de la fonction softmax complète. De nombreux modèles MoE récents (par exemple Mixtral [ 7 ] et DeepSeek [ 8 ]) renormalisent plutôt les portes sur les k meilleurs experts sélectionnés afin que la somme des poids de combinaison après sélection soit égale à un. L'idée est que la fonction softmax complète répartit la masse de probabilité entre tous les E experts, de sorte que la somme des valeurs des k meilleures portes peut être bien inférieure à un, en particulier lorsque la distribution du routeur est uniforme. Sans renormalisation, un jeton acheminé à travers une distribution incertaine et largement dispersée produirait une sortie de faible amplitude simplement parce que la majeure partie de la masse de probabilité se concentrerait sur des experts non sélectionnés. La renormalisation après sélection rétablit l'échelle de la sortie et garantit que la pondération relative des experts choisis reflète la préférence du routeur parmi eux, plutôt que d'être diluée par la probabilité attribuée aux experts non sélectionnés. Les deux variantes sont courantes.

Il est important de noter que le routeur prend cette décision pour chaque jeton et à chaque niveau MoE. Deux jetons d'une même phrase peuvent donc emprunter des chemins d'expertise différents, et un même mot peut être acheminé différemment selon son contexte et sa représentation à un niveau donné.

Figure 2. Mécanismes de routage dans une couche Mixture-of-Experts (MoE). Pour un vecteur de jeton donné x , le routeur calcule une distribution de probabilité sur tous les experts, sélectionne les k meilleurs experts et combine leurs sorties par une somme pondérée y = ∑ _{i ∈ Top-k} g _i (x) E _i (x) . Ceci illustre le routage par jeton, où différents jetons peuvent suivre différents chemins d'experts.

Puisque MoE modifie l'architecture plutôt que l'objectif d'apprentissage, il peut être appliqué à toute tâche prise en charge par un Transformer dense, notamment la génération, la classification, la traduction et le raisonnement multimodal. Le routage permet à un modèle MoE d'utiliser les ressources de manière sélective. Il introduit également un nouveau défi : sans contraintes, le routeur peut envoyer de manière répétée un nombre excessif de jetons aux mêmes experts, laissant ainsi les autres sous-utilisés. Nous abordons ce problème par la suite grâce à l'équilibrage de charge et au contrôle de la capacité des experts.

Optimisation clairsemée du routage : équilibrage de charge et capacité

Le routeur a pour but de réduire la charge de calcul par jeton en sélectionnant uniquement les experts les plus pertinents. Cependant, ça crée une tension. Sans contrainte, le routeur apprend à concentrer les jetons sur un petit nombre d'experts performants en début d'entraînement, privant ainsi les autres experts de gradients utiles et renforçant le déséquilibre. Il en résulte un effondrement des experts : un modèle avec 128 experts n'en utilise en réalité qu'une poignée, annulant ainsi l'avantage de capacité qui a motivé la conception du modèle MoE. Le problème est amplifié dans les environnements distribués, où les experts sont répartis sur plusieurs appareils et où un expert surchargé peut bloquer toute une couche [ 9 ].

Les mécanismes d'équilibrage de charge corrigent ce problème en incitant le routeur à répartir les jetons plus uniformément. Cependant, cela a un coût : attribuer les jetons aux experts sous-utilisés signifie que certains jetons sont traités par des experts qui ne sont pas les plus compétents. L'objectif d'équilibrage et l'objectif de routage sont donc en concurrence directe. Un équilibrage insuffisant entraîne une saturation du réseau d'experts ; un équilibrage excessif aplatit la distribution du routage et nuit à la spécialisation qui fait l'intérêt du modèle MoE. Les méthodes décrites ci-dessous représentent différents points de ce compromis.

Une solution courante consiste à utiliser une perte d'équilibrage de charge. Soit f _i la fraction de jetons envoyés à l'expert i et P _i la probabilité de routage moyenne pour cet expert. Les transformateurs de commutation [ 6 ] utilisent :

(4)

où E représente le nombre d'experts et α détermine dans quelle mesure le modèle est incité à répartir le travail entre eux. La minimisation de ce produit pénalise les configurations où un expert reçoit une part importante des jetons et présente une probabilité de routage moyenne élevée, ce qui encourage le routeur à effectuer une répartition plus uniforme.

Chaque expert dispose également d'un nombre limité de jetons qu'il peut traiter par lot. Pour les jetons T , le routage top- k et les experts E , cette limite est souvent exprimée comme suit :

(5)

où c est le facteur de capacité. Si un expert reçoit plus de jetons que sa limite, les tâches supplémentaires peuvent être abandonnées ou envoyées par un autre chemin de routage [ 10 , 6 ].

D'autres méthodes équilibrent les experts plus directement. Les couches BASE considèrent l'affectation comme un problème de transport optimal équilibré [ 11 ], le routage par choix d'expert permet à chaque expert de sélectionner un nombre fixe de jetons [ 5 ], et des approches plus récentes ajustent les biais de routage sans perte auxiliaire [ 12 ]. Pour des taux de sparsité extrêmes, Kimi K3 va plus loin avec l'équilibrage par quantiles, qui dérive l'affectation des experts directement à partir des quantiles des scores des routeurs, supprimant ainsi complètement l'hyperparamètre d'équilibrage [ 13 ].

Du routage parcimonieux à la spécialisation experte

L'équilibre du trafic n'est que la première étape vers la spécialisation. Les experts peuvent recevoir un nombre comparable de jetons tout en apprenant des fonctions redondantes ou trop générales [ 14 ]. Ce problème peut être abordé à trois niveaux : architecture, objectifs de formation et analyse a posteriori.

L'architecture DeepSeekMoE [ 15 ] remplace un petit ensemble d'experts généralistes par un ensemble plus vaste d'experts plus spécialisés, activant ainsi davantage de ces composants par jeton tout en conservant un budget de calcul similaire. Elle distingue également les experts partagés , exécutés pour chaque jeton et capturant des modèles linguistiques largement utiles, des experts routés sélectionnés conditionnellement, qui peuvent se concentrer sur des informations spécifiques au jeton et au contexte actuels.

Objectifs de formation. L'architecture n'est pas le seul levier. Guo et al. [ 14 ] montrent que les objectifs d'équilibrage conventionnels peuvent encore encourager un routage trop uniforme et un chevauchement des experts, et ils introduisent des objectifs destinés à rendre la sélection des experts plus discriminante tout en conservant une utilisation équilibrée.

Analyse post-hoc. La spécialisation peut être mesurée plutôt que présumée. Olson et al. [ 16 ] constatent que les décisions de routage changent lorsque le même mot apparaît dans différents contextes sémantiques, ce qui suggère que certains choix d'experts reflètent le sens contextuel plutôt que l'identité superficielle du jeton.

Ces trois perspectives convergent vers un point commun : les experts ne sont pas des modules prédéfinis tels que « l’expert en code » ou « l’expert en raisonnement ». Leurs rôles sont définis en fonction de la granularité de leur expertise, de la politique de routage, des objectifs de formation et des données. Ceci est particulièrement important dans les modèles multimodaux, où le routage doit répartir la capacité entre le texte, les images, l’audio et leurs interactions.

MoE en pratique : le routage clairsemé rencontre la formation distribuée

Cette section suppose une certaine familiarité avec les cadres d'entraînement distribué. Si vous avez déjà utilisé DeepSpeed ​​[ 8 ] ou PyTorch Fully Sharded Data Parallel (FSDP) ^† , vous reconnaîtrez ces outils ; les modes de défaillance décrits ici sont spécifiques aux couches MoE et ne sont généralement pas documentés dans les guides pratiques.

Les outils d'entraînement distribué standard répartissent les paramètres sur plusieurs appareils et les rassemblent à la demande pendant la phase d'apprentissage. Nous avons testé cinq configurations de ce type sur deux frameworks, appliquées à un modèle MoE multimodal de 35,26 milliards de paramètres ; les cinq ont échoué. La cause principale est architecturale : le routage dépendant des données empêche le cadre de déterminer les pondérations d'experts nécessaires avant que le routage n'ait eu lieu, rendant ainsi le modèle de collecte à la demande fondamentalement incompatible avec les couches MoE clairsemées. Cette section documente ces échecs, explique pourquoi le parallélisme d'experts constitue la solution optimale à long terme et décrit le pipeline de réduction de la mémoire qui a permis un réglage fin dans le respect des contraintes du projet.

Cette section utilise Qwen3-Omni-30B-A3B [ 17 ], un modèle MoE multimodal basé sur l'architecture Thinker-Talker de Qwen, comme cas d'étude. Le point de contrôle complet comporte 35,26 milliards de paramètres ; le « 30B » dans le nom fait référence au Thinker. L'objectif de l'optimisation est une tâche de sortie multimodale structurée.

Pourquoi le partitionnement standard des paramètres échoue-t-il pour le ministère de l'Éducation ?

Les grands modèles denses sont souvent entraînés par partitionnement des paramètres : les poids de chaque couche sont répartis entre les dispositifs, et lors de la propagation avant, chaque dispositif recueille temporairement tous les poids de la couche dont il a besoin, effectue le calcul, puis les libère. DeepSpeed ​​ZeRO-3 [ 18 ] et PyTorch FSDP [ 19 ] suivent ce modèle. Il fonctionne bien pour les Transformers denses parce que les mêmes couches traitent chaque jeton ; la séquence des opérations de collecte, de calcul et de libération est donc identique pour chaque entrée du lot.

Les couches MoE contredisent cette hypothèse. L'acheminement dépend des données : différents jetons d'un même lot peuvent sélectionner différents experts lors de l'exécution. Un cadre de partitionnement qui répartit les poids des couches ne peut pas savoir à l'avance quels poids d'experts seront nécessaires, car cette décision dépend de la sortie du routeur, qui dépend elle-même du passage avant atteignant cette couche. En pratique, cela oblige le cadre à rassembler la plupart, voire la totalité, des experts avant que le routage puisse se poursuivre, ce qui repousse le pic de mémoire vers la taille du modèle non partitionné et annule l'avantage du partitionnement.

Voici le problème fondamental : le partitionnement des paramètres répartit les pondérations entre les dispositifs par couche, mais dans un modèle MoE, l’unité de distribution pertinente est l’expert, et non la couche. La section ci-dessous, consacrée au parallélisme des experts, explique pourquoi une distribution par expert plutôt que par couche est la solution la plus naturelle.

Modes de défaillance observés

Nous avons testé cinq configurations de partitionnement sur deux cadres, sur un modèle MoE de 35,26 milliards d'éléments comportant 48 couches et 128 experts par couche, en ciblant quatre GPU A100 de 80 Go. Toutes les configurations ont échoué.

• ZeRO-2 (bf16). ZeRO-2 fragmente les états et les gradients de l'optimiseur, mais réplique les paramètres sur tous les périphériques ; le modèle complet était donc exécuté simultanément sur chaque GPU. L'allocation maximale a atteint 78,56 Gio avant de planter lors d'une allocation d'activation de 14 Mio.
• FSDP FULL_SHARD. L'encapsulation des couches de décodage MoE natives a forcé FSDP à rassembler les 128 experts avant que le routage puisse se poursuivre, reproduisant ainsi l'empreinte complète du modèle sur chaque appareil. L'allocation maximale a atteint 77,99 Gio.
• ZeRO-3 (bf16). Le partitionnement du modèle en pleine précision a causé un plantage immédiat du méta-tenseur (NotImplementedError: Cannot copy out of meta tensor; no data!), révélant une incompatibilité entre HuggingFace from_pretrained (qui construit une structure sur un méta-appareil) et celle de DeepSpeed _post_init méthode (qui tente de copier immédiatement les données sur l'appareil local).
• ZeRO-3 + QLoRA. La combinaison du partitionnement ZeRO-3 avec la quantification 4 bits a causé un plantage de l'optimiseur. L'optimiseur ZeRO de DeepSpeed ​​partage les paramètres sous forme de tenseurs flottants plats dans son backend C++, tandis que la quantification NF4 de bitsandbytes stocke les poids sous forme de tenseurs flottants plats. uint8 avec un objet de métadonnées d'état quantitatif distinct. La logique de partitionnement divise les données brutes uint8 entreposage mais rejette l'état quantitatif, rendant les paramètres reconstruits dénués de sens à chaque rang.
• FSDP SHARD_GRAD_OP. Variante de partitionnement partiel conservant l'intégralité des paramètres lors de la propagation avant. L'allocation maximale était de 77,99 Gio, soit la taille complète du modèle.

Observation principal. La constance de cette défaillance à travers deux cadres et cinq configurations confirme que la cause profonde est architecturale plutôt qu'un problème de réglage : le routage dépendant des données est fondamentalement incompatible avec le modèle de partitionnement des paramètres à la demande.

Configuration	Cadre	Mode de défaillance	Mémoire maximale
ZeRO-2 (bf16)	DeepSpeed	Mémoire insuffisante lors de l'activation de l'allocation	78,56 Go
FSDP FULL_SHARD	PyTorch	Réunion complète d'experts	77,99 Go
ZeRO-3 (bf16)	DeepSpeed	Plantage de métatenseur	—
ZeRO-3 + QLoRA	DeepSpeed	Plantage de l'optimiseur	—
FSDP SHARD_GRAD_OP	PyTorch	Taille complète du modèle conservée	77,99 Go

Tableau 1. Configurations de partitionnement testées sur un modèle MoE de 35,26 milliards d'éléments (48 couches, 128 experts par couche) sur quatre GPU A100 de 80 Go. Toutes les configurations ont échoué.

Parallélisme d'experts : la bonne approche à long terme

Le parallélisme d'experts (EP) résout ce problème en distribuant les experts plutôt que les poids des couches. Chaque appareil possède en permanence un sous-ensemble disjoint d'experts, et les jetons sont envoyés à l'appareil qui détient les experts sélectionnés par le biais d'une communication globale. Aucun remontage n'est nécessaire.

Les tests de faisabilité ont confirmé qu'une seule couche MoE et une passe avant complète de 48 couches s'exécutaient sans erreur sous DeepSpeed ​​EP. Cependant, EP ne pouvait pas être utilisé pour le réglage fin à partir d'un point de contrôle pré-entraîné. MOELayer Cette classe se distingue architecturalement de l'implémentation HuggingFace MoE : elle enregistre les experts selon sa propre convention de nommage interne (nn.ModuleList) plutôt que le modèle préentraîné mlp.experts L'intégration de poids préentraînés dans la structure EP de DeepSpeed ​​nécessiterait un pipeline de remappage de poids de plusieurs gigaoctets et un correctif de propagation avant personnalisé pour concilier les signatures de retour incompatibles. De ce fait, EP s'est avéré inadapté au réglage fin dans le cadre des contraintes du projet. Nous le considérons néanmoins comme la voie à suivre à long terme pour l'entraînement à grande échelle de modèles d'apprentissage automatique.

La solution : réduire, ne pas fragmenter

Plutôt que de répartir les pondérations des experts entre les appareils, la configuration de travail a gardé chaque couche MoE intacte et a placé des couches complètes sur des appareils individuels à l'aide de device_map="auto"Cela a permis un routage local au sein de chaque couche, évitant ainsi la mobilisation d'experts entre les différents appareils lors de la transmission.

Cela a permis de résoudre le problème décrit précédemment : le partitionnement standard rencontrait des difficultés car les pondérations expertes devaient être reconstruites en fonction du routage dépendant des données. Le maintien des couches intactes a permis de résoudre ce problème, mais a fait de la mémoire la principale contrainte.

Parce que device_map="auto" L'équilibrage étant basé sur le nombre de paramètres plutôt que sur le nombre de couches, l'encodeur vidéo (543 millions de paramètres) et l'encodeur audio (600 millions de paramètres) alourdissaient la charge des premiers appareils, réduisant ainsi le nombre de couches Thinker disponibles. En pratique, ce déséquilibre n'entraînait pas de ralentissements visibles. La configuration finale reposait sur trois réductions de mémoire, résumées dans le tableau 2. La suppression de l'une d'elles provoquait une erreur de mémoire insuffisante.

Optimisation	Mise en œuvre	Mémoire maximale
Ligne de base	Modèle complet 35.26B, bf16	70,5 Go
QLoRA (4 bits)	Poids gelés NF4 ; adaptateurs LoRA dans BF16	17,85 Go
Attention Flash 2	Attention segmentée ; mémoire O(N) vs O(N²)	Mémoire insuffisante empêchée†
lm_head préhameçon	États cachés réduits à environ 350 positions	15,6 Go

Tableau 2. Impact cumulatif sur la mémoire des trois optimisations d'entraînement. Chaque ligne représente une optimisation supplémentaire appliquée à la précédente. La mémoire maximale par appareil est indiquée à 16 images, sauf indication contraire.
†Flash Attention 2 ne réduit pas le pic des séquences courtes ; il supprime l'allocation de la matrice d'attention qui, autrement, provoquerait une saturation de la mémoire pour les séquences longues. Son effet n’est visible que pour un grand nombre d’images.

QLoRA. QLoRA a quantifié les poids de base gelés à 4 bits NF4 [ 20 ], tandis que les adaptateurs LoRA [ 21 ] sont restés entraînables dans bf16. Cela a réduit le coût de mémoire fixe le plus élevé sans mettre à jour l'ensemble des 35,26 milliards de paramètres.

Flash Attention 2. Flash Attention 2 [ 22 ] a résolu le problème du goulot d'étranglement lié aux longues séquences. Pour la plus grande entrée évaluée, l'attention standard matérialiserait une matrice d'attention N × N par couche ; l'attention par tuiles évite cette allocation tout en conservant la même sortie.

lm_head pré-accrochage. La projection finale constituait un autre goulot d'étranglement majeur, car elle générait des logits pour toutes les positions des jetons dans un vocabulaire de 152 000 entrées. Comme seulement environ 350 jetons en position de réponse contribuaient à la perte, un mécanisme de préprojection a permis de découper les états cachés avant la projection, réduisant ainsi la mémoire allouée aux logits de 23,3 Go à 0,3 Go.

Ce pipeline a été testé en charge à 128 images (28 746 jetons), atteignant un pic de 60,06 Go et restant dans la même enveloppe matérielle à la plus grande taille d'entrée évaluée.

Spécialisation multimodale : routage entre les modalités

La section 6 a montré comment rendre un modèle MoE multimodal entraînable. Avant de le peaufiner, il fallait comprendre ce que le routeur avait déjà appris. Cette section analyse la structure de routage à travers les 48 couches du Thinker. Pour les modèles multimodaux, la question pertinente est de savoir si le routeur traite les jetons audio, visuels et textuels comme des problèmes de calcul distincts, ou s'il achemine toutes les modalités vers un ensemble commun d'experts. Nous avons effectué une analyse de routage sur les 48 couches MoE, portant sur 13 domaines thématiques vidéo distincts, et enregistrant les schémas d'activation des experts par modalité et par couche.

Une transition modalité-sémantique à travers les couches

Pour mesurer la cohérence du routage entre les sujets, nous avons calculé la similarité de Jaccard des ensembles d'experts activés pour une même modalité dans différents domaines thématiques. Une similarité de 1,0 signifie que le modèle achemine des ensembles d'experts identiques, indépendamment de la signification sémantique du jeton. Une valeur inférieure indique un routage sensible au sujet.

Parmi les 28 premières couches, la similarité de Jaccard moyenne s'est maintenue à 0,9731, indiquant que l'acheminement initial est pratiquement identique quel que soit le contenu du sujet. Parmi les 48 couches, la similarité globale a chuté à 0,8804.

Cela révèle une transition structurelle. Dans les couches 1 à 28, le routeur attribue les jetons aux experts principalement en fonction de la modalité : les jetons audio suivent les voies audio, les jetons visuels les voies visuelles, et cette attribution reste stable quel que soit le contenu verbal ou visuel. Dans les couches 29 à 48, le routage commence à se différencier selon le contenu sémantique. Un même jeton audio représentant la parole dans un domaine thématique donné est envoyé à des experts significativement différents de ceux qui envoient le même jeton audio dans un autre domaine, même au sein d’une même modalité. Le routage dans les couches plus profondes reflète la signification du jeton dans son contexte, et non plus seulement son type de signal.

Stabilité différentielle selon les modalités

Pour mesurer la cohérence avec laquelle chaque modalité utilise les mêmes experts dans les moitiés précoce et tardive du réseau, nous avons extrait les 20 experts les plus activés par modalité dans les couches 1 à 28 et les couches 29 à 48 et mesuré leur chevauchement.

Modalité	Chevauchement des experts (top 20)	Stabilité
Audio	18/20	Haut
Vidéo	16/20	Modéré
Texte	11/20	Faible / dynamique

Tableau 3. Persistance des parcours d'experts dans les deux moitiés du modèle Thinker à 48 couches. Le chevauchement correspond au nombre d'experts communs parmi les 20 premiers activés par modalité entre les couches 1 à 28 et les couches 29 à 48.

Les jetons audio et vidéo conservent des parcours d'experts cohérents sur toute la profondeur du réseau : les experts qui traitent les signaux perceptifs dans les premières couches continuent de les traiter dans les couches profondes. Les jetons textuels présentent une volatilité de routage nettement plus importante. Moins de la moitié des 20 meilleurs experts en texte sont communs aux couches superficielles et profondes, ce qui indique que le modèle réaffecte dynamiquement le texte à différents experts lorsqu'il passe de l'encodage perceptif au raisonnement de haut niveau.

Ce schéma correspond à ce que l'on attendrait d'un modèle entraîné sur des données multimodales diverses : le traitement perceptif est assuré par des voies stables et spécialisées, tandis que le raisonnement au niveau du langage s'appuie sur un ensemble d'experts plus souple et dépendant du contexte.

Cette asymétrie a des conséquences pratiques pour le réglage fin : l’adaptation du routage du texte peut nécessiter une capacité plus importante ou un entraînement plus long que l’adaptation du routage audio ou vidéo, car les chemins de texte sont moins stables et plus sensibles aux changements de distribution entre les données de pré-entraînement et les données de réglage fin.

Déclin de l'entropie de routage

L'entropie de contrôle mesure le degré de concentration ou de distribution des décisions de routage à chaque couche. Une entropie élevée signifie que les jetons sont largement répartis entre les experts ; une entropie faible signifie qu'un petit nombre d'experts domine. Les valeurs ci-dessous sont exprimées en nats ; avec 128 experts, le maximum théorique est ln 128 ≈ 4,85 .

L'entropie a atteint un pic de 3,97 à la couche 5, indiquant un routage exploratoire et distribué dans les premières couches. Elle a ensuite diminué de façon monotone jusqu'à un minimum de 3,12 à la couche 47. Cette décroissance confirme la spécialisation progressive : à mesure que les jetons se rapprochent de la sortie, le routage se concentre et le modèle s'appuie sur un ensemble restreint d'experts hautement pertinents avant de produire sa représentation finale.

Point important, l'audit n'a révélé aucun expert définitivement inactif. Bien que certaines couches isolées contiennent de petits groupes d'experts inactifs, chacun des 128 experts a été activé au moins une fois au cours de l'évaluation portant sur 48 couches et 13 sujets. Le routeur tire pleinement parti de la capacité d'experts du modèle.

Implications pour le réglage fin : gel du routeur

La structure de routage observée avant l'ajustement fin était déjà bien organisée, par modalité dans les premières couches et par contenu sémantique dans les couches suivantes. Cela a soulevé la question à savoir si l'ajustement précis du routeur améliorerait les performances des tâches ou risquerait de perturber une structure stable et fonctionnelle.

Étant donné que les tables de routage étaient déjà fortement convergées et que l'ensemble des experts était activement sollicité, nous avons gelé le routeur du ministère de l'Éducation (tous les mlp.gate paramètres) pour un réglage fin. Ça a eu deux conséquences. Premièrement, cela a éliminé le besoin d'une perte d'équilibrage de charge auxiliaire Le _bal (Éq. (4)), ce qui est généralement nécessaire pour éviter l'effondrement de l'expertise lorsque le routage est entraînable [6Étant donné que l'utilisation des experts était déjà équilibrée, la pénalité était inutile et sa suppression a simplifié l'objectif de l'entraînement. Deuxièmement, elle a concentré l'intégralité du budget des paramètres entraînables sur les projections d'attention denses du Penseur (q_proj, k_proj, v_proj, o_proj), préservant la structure de routage que le modèle avait déjà développée tout en adaptant la manière dont il traite les entrées multimodales.

Perspectives d'avenir : défis à relever pour le ministère de l'Éducation

L'ajustement fin de grands modèles MoE à partir de points de contrôle préentraînés soulève plusieurs questions ouvertes que les expériences décrites ci-dessus abordent, mais ne résolvent pas entièrement.

Parallélisme d'experts à l'échelle du réglage fin. Le parallélisme d'experts (EP) est théoriquement la stratégie distribuée optimale pour les modèles clairsemés : il évite le problème de la collecte dépendante des données en colocalisant chaque expert sur un dispositif dédié. Cependant, les implémentations actuelles des cadres sont conçues pour l'entraînement à partir d'une initialisation aléatoire et supposent la maîtrise de l'architecture experte. Utiliser l'EP pour le réglage fin à partir d'un point de contrôle HuggingFace préentraîné nécessite de concilier des formats d'enregistrement d'experts et des signatures de retour incompatibles. Combler cet écart rendrait l'EP pratique pour le réglage fin et constitue une piste importante pour les cadres visant à prendre en charge l'adaptation de modèles clairsemés.

Stabilité du routage lors d'un entraînement continu. Nos résultats suggèrent que la structure de routage est déjà pertinente avant le réglage précis propre à la tâche. On ignore toujours la robustesse de cette structure lors d'entraînements plus longs, de taux d'apprentissage plus élevés ou d'un changement de distribution entre les données de préentraînement et de réglage fin. Des méthodes de surveillance de la stabilité du routage pendant le réglage fin, analogues au suivi de la norme du gradient pour les modèles denses, constitueraient une contribution pratique précieuse.

Sélection de jetons pour les entrées multimodales. Pour les séquences multimodales, le nombre de jetons, par exemple, dépend à la fois du nombre de modalités et de la résolution temporelle. Nos expériences montrent que l'échantillonnage uniforme des images n'apporte plus autant d'améliorations qu'un gain négligeable : passer de 16 à 64 images a amélioré la perte de validation de 0,079, tandis qu'une augmentation supplémentaire à 96 images n'a permis qu'un gain de 0,029 pour une puissance de calcul 1,5 fois supérieure. Cela suggère qu'une stratégie de sélection de jetons, consistant à choisir les images et les segments audio à inclure plutôt qu'un échantillonnage uniforme, pourrait offrir des améliorations plus importantes qu'une simple augmentation de la longueur de la séquence.

Évaluation en cas de perturbation du format de sortie. L'ajustement fin d'un modèle MoE sur des tâches à sortie structurée introduit une période durant laquelle le format de sortie général du modèle est partiellement perturbé avant l'apprentissage du format spécifique à la tâche. Dans nos expériences, environ 20 % des évaluations sur une seule époque n'ont produit aucune sortie valide, non pas par manque de connaissances du modèle, mais parce que la structure de réponse attendue n'était pas encore stabilisée. Les mesures de précision standard ne font pas la distinction entre les erreurs de format et les erreurs de raisonnement. Des protocoles d'évaluation tenant compte de cette distinction permettraient d'obtenir une image plus précise de la progression de l'apprentissage spécifique à la tâche durant les premières phases d'entraînement.

Références

[1] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, AN Gomez, Ł. Kaiser et I. Polosukhin, « L'attention est tout ce dont vous avez besoin », Advances in Neural Information Processing Systems , vol. 30, 2017.

[2] WX Zhao, K. Zhou, J. Li, T. Tang, X. Wang, Y. Hou, Y. Min, B. Zhang, J. Zhang, Z. Dong, et al., « A survey of large language models », arXiv:2303.18223, 2023.

[3] RA Jacobs, MI Jordan, SJ Nowlan et GE Hinton, « Mélanges adaptatifs d'experts locaux », Neural Computation , vol. 3, no. 1, pp. 79–87, 1991.

[4] MI Jordan et RA Jacobs, « Mélanges hiérarchiques d'experts et l'algorithme EM », Neural Computation , vol. 6, no. 2, pp. 181–214, 1994.

[5] Y. Zhou, T. Lei, H. Liu, N. Du, Y. Huang, V. Zhao, AM Dai, QV Le, J. Laudon, et al., « Mixture-of-experts with expert choice routing », Advances in Neural Information Processing Systems , vol. 35, pp. 7103–7114, 2022.

[6] W. Fedus, B. Zoph et N. Shazeer, « Switch transformers : passage à des modèles à mille milliards de paramètres avec une parcimonie simple et efficace », Journal of Machine Learning Research , vol. 23, n° 120, pp. 1–39, 2022.

[7] AQ Jiang, A. Sablayrolles, A. Roux, A. Mensch, B. Savary, C. Bamford, DS Chaplot, D. de las Casas, E. Bou Hanna, F. Bressand, et al., « Mixtral d'experts », arXiv : 2401.04088, 2024.

[8] A. Liu, B. Feng, B. Xue, B. Wang, B. Wu, C. Lu, C. Zhao, C. Deng, C. Zhang, C. Ruan, et al., « Rapport technique DeepSeek-V3 », arXiv : 2412.19437, 2024.

[9] N. Shazeer, A. Mirhoseini, K. Maziarz, A. Davis, Q. Le, G. Hinton et J. Dean, « Réseaux neuronaux outrageusement grands : la couche de mélange d'experts à portes clairsemées », arXiv:1701.06538, 2017.

[10] D. Lepikhin, H. Lee, Y. Xu, D. Chen, O. Firat, Y. Huang, M. Krikun, N. Shazeer et Z. Chen, « GShard : Mise à l'échelle de modèles géants avec calcul conditionnel et partitionnement automatique », arXiv:2006.16668, 2020.

[11] M. Lewis, S. Bhosale, T. Dettmers, N. Goyal et L. Zettlemoyer, « Couches de base : simplifier l’entraînement de grands modèles clairsemés », dans Proc. ICML , pp. 6265–6274, PMLR, 2021.

[12] L. Wang, H. Gao, C. Zhao, X. Sun et D. Dai, « Stratégie d'équilibrage de charge sans perte auxiliaire pour un mélange d'experts », arXiv:2408.15664, 2024.

[13] Moonshot AI, « Kimi K3 Tech Blogue : Open Frontier Intelligence », 2026. https://www.kimi.com/blog/kimi-k3. Rapport technique à venir.

[14] H. Guo, H. Lu, G. Nan, B. Chu, J. Zhuang, Y. Yang, W. Che, X. Cao, S. Leng, Q. Cui, et al., « Advancing expert spécialisation for better MoE », Advances in Neural Information Processing Systems , vol. 38, pages 48767 à 48809, 2026.

[15] D. Dai, C. Deng, C. Zhao, RX Xu, H. Gao, D. Chen, J. Li, W. Zeng, X. Yu, Y. Wu, et al., « DeepSeekMoE : Vers une spécialisation ultime des experts dans les modèles de langage de mélange d'experts », dans les actes de la 62e réunion annuelle de l'Association for Computational Linguistics (Volume 1 : Long Papers) , pp. 1280–1297, 2024.

[16] ML Olson, N. Ratzlaff, M. Hinck, M. Luo, S. Yu, C. Xue et V. Lal, « Probing semantic routing in large mixture-of-expert models », dans Findings of the Association for Computational Linguistics: EMNLP 2025 , pp. 18263–18278, 2025.

[17] J. Xu, Z. Guo, H. Hu, Y. Chu, X. Wang, J. He, Y. Wang, X. Shi, T. He, X. Zhu, et al., « Rapport technique Qwen3-Omni », arXiv:2509.17765, 2025.

[18] S. Rajbhandari, J. Rasley, O. Ruwase et Y. He, « Zéro : optimisations de mémoire pour l’entraînement de modèles à mille milliards de paramètres », dans SC20 : Conférence internationale sur le calcul haute performance, la mise en réseau, le stockage et l’analyse , pp. 1–16, IEEE, 2020.

[19] Y. Zhao, A. Gu, R. Varma, L. Luo, C.-C. Huang, M. Xu, L. Wright, H. Shojanazeri, M. Ott, S. Shleifer, et al., « PyTorch FSDP : Expériences sur la mise à l'échelle de données entièrement partitionnées en parallèle », arXiv:2304.11277, 2023.

[20] T. Dettmers, A. Pagnoni, A. Holtzman et L. Zettlemoyer, « QLoRA : réglage fin efficace des LLM quantifiés », Advances in Neural Information Processing Systems , vol. 36, pp. 10088–10115, 2023.

[21] EJ Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang, W. Chen, et al., « LoRA : Adaptation de bas rang de grands modèles de langage », dans la Conférence internationale sur les représentations d'apprentissage (ICLR) , 2022.

[22] T. Dao, « FlashAttention-2 : une attention plus rapide avec un meilleur parallélisme et un meilleur partitionnement du travail », dans les actes de la Conférence internationale sur les représentations d'apprentissage (ICLR) , 2024.

† Tutoriel PyTorch FSDP : https://docs.pytorch.org/tutorials/intermediate/FSDP_tutorial.html