Auteurs : Ahmed ElKady, Ahmed Y. Radwan, Shaina Raza
Les modèles à mélange d'experts (MoE) ont beaucoup plus de paramètres qu'ils n'en activent. Pour chaque jeton qui les traverse, un routeur optimisé sélectionne uniquement un petit sous-ensemble de sous-réseaux spécialisés, appelés experts, à exécuter, laissant les autres inactifs. Il en résulte un modèle dont la capacité augmente sans que la charge de calcul par jeton n'augmente proportionnellement.
Cet article décrit le fonctionnement en deux parties. La première présente l'architecture de A à Z : comment le routeur prend des décisions, comment le système est équilibré et comment la spécialisation émerge de l'entraînement plutôt que de la conception. La deuxième relate les résultats de nos tentatives d'optimisation d'un modèle MoE multimodal de 35 milliards de paramètres sur quatre GPU A100. Nous avons testé cinq approches de partitionnement qui ont toutes échoué, puis nous avons identifié la solution qui a finalement fonctionné. Finalement, une analyse détaillée du routage, couche par couche, a permis de comprendre comment le modèle répartit la capacité entre l'audio, la vidéo et le texte. Un cahier exécutable couvrant l'intégralité du processus d'entraînement est disponible à la fin d'article.
Pourquoi les modèles plus grands sont devenus la norme
La plupart des modèles de langage modernes reposent sur l'architecture Transformer, ce qui a permis d'entraîner efficacement et à grande échelle de grands modèles de séquences. Ces modèles traitent le texte par unités : de petites unités comme des mots, des fragments de mots ou la ponctuation. Depuis, les progrès ont globalement suivi une tendance claire : lorsque la taille du modèle, les données d'entraînement et la puissance de calcul sont augmentées simultanément, les performances ont tendance à s'améliorer [ 16 ].
La mise à l'échelle dense a un coût direct : chaque jeton utilise la même capacité de propagation directe complète à chaque couche. Augmenter la capacité augmente donc non seulement la taille totale du modèle, mais aussi les besoins en calcul, en mémoire, en énergie et en infrastructure de service pour son entraînement et son déploiement. Cela soulève une question pratique : peut-on augmenter la capacité d'un modèle sans que chaque jeton n'en supporte la totalité ?
Mélange d'experts : capacité accrue, utilisée de manière sélective
Les modèles linguistiques sont maintenant utilisés dans de nombreuses applications : chatbots et agents de service à la clientèle, assistants de programmation, recherche d’entreprise et analyse de documents, traduction et résumé, détection des fraudes et processus d’aide à la décision dans des secteurs comme la santé et la finance. Dans bien des déploiements, le modèle n'est pas un produit autonome ; il s'agit d'un composant d'un système plus vaste qui extrait des informations, fait appel à des outils, applique des politiques et aide les utilisateurs.
L'architecture de réseau neuronal Mixture-of-Experts (MoE) décompose un modèle en plusieurs sous-réseaux spécialisés, appelés experts, et achemine dynamiquement les entrées vers les experts les plus pertinents pour une tâche donnée. Proposée initialement dans les premiers travaux sur les réseaux neuronaux modulaires, la MoE adopte une stratégie de type « diviser pour régner » où le calcul est distribué entre plusieurs experts spécialisés [ 7 , 8 ]. Contrairement aux modèles denses qui activent tous les paramètres pour chaque entrée, les modèles MoE utilisent un routeur pour activer sélectivement les experts les plus pertinents, augmentant ainsi la capacité tout en préservant l'efficacité du calcul.
L'architecture MoE propose également une stratégie de mise à l'échelle différente : augmenter la capacité totale du modèle sans l'activer complètement pour chaque jeton. Plutôt que d'étendre un réseau de neurones à propagation avant (FFN) partagé, une couche MoE le remplace généralement par un ensemble de FFN experts et un routeur optimisé [ 18 ]. Pour chaque jeton, le routeur sélectionne un petit sous-ensemble d'experts à exécuter, tandis que les autres experts routés restent inactifs. Ce mécanisme est connu sous le nom de calcul conditionnel .
Figure 1. Comparaison entre un réseau de neurones denses à propagation avant (FFN) et un FFN à mélange d'experts (MoE). Dans un FFN dense, chaque jeton d'entrée est traité par le même bloc de propagation avant partagé. Dans un FFN MoE, un routeur assigne chaque jeton à un petit sous-ensemble d'experts (les k meilleurs), et les sorties des experts sélectionnés sont combinées par une somme pondérée, ce qui augmente la capacité totale du modèle tout en minimisant la charge de calcul par jeton.
Par exemple, une couche MoE peut contenir 16 experts, mais acheminer chaque jeton seulement vers les deux meilleurs. Pour chaque jeton, le modèle peut puiser parmi l'ensemble des 16 experts, tandis qu'un jeton donné n'en active que deux. C'est le compromis fondamental du MoE : un plus grand nombre de paramètres au total, mais seulement un sous-ensemble de paramètres d'experts activés par jeton . Les Transformers Switch [ 4 ], une architecture MoE simplifiée, montrent que le routage clairsemé peut s'adapter à des modèles extrêmement volumineux tout en conservant un mécanisme de routage simple, y compris une configuration « top-1 » dans laquelle chaque jeton est envoyé à un seul expert.
Le routeur : choisir les experts qui gèrent
Le routeur détermine quels experts traitent chaque jeton, ce qui rend le MoE conditionnel. Pour chaque représentation de jeton x , le routeur produit un score pour chaque expert disponible :
(1)
où W r est une matrice de routage apprise. Ces scores sont normalisés par une fonction softmax afin de former une distribution de probabilité sur les experts :
(2)
Le modèle sélectionne ensuite les k experts ayant les probabilités de routage les plus élevées. Si k = 2 , le jeton est envoyé à ses deux experts les plus pertinents ; si k = 1 , il est envoyé à un seul. Le résultat final est une combinaison pondérée des réponses des experts sélectionnés.
(3)
où E
Il est important de noter que le routeur prend cette décision pour chaque jeton et à chaque niveau MoE. Deux jetons d'une même phrase peuvent donc emprunter des chemins d'expertise différents, et un même mot peut être acheminé différemment selon son contexte et sa représentation à un niveau donné.
Figure 2. Mécanismes de routage dans une couche Mixture-of-Experts (MoE). Pour un vecteur de jeton donné x , le routeur calcule une distribution de probabilité sur tous les experts, sélectionne les k meilleurs experts et combine leurs sorties par une somme pondérée y = ∑ i ∈ Top-k g i (x) E i (x) . Ceci illustre le routage par jeton, où différents jetons peuvent suivre différents chemins d'experts.
Puisque MoE modifie l'architecture plutôt que l'objectif d'apprentissage, il peut être appliqué à toute tâche prise en charge par un Transformer dense, notamment la génération, la classification, la traduction et le raisonnement multimodal. Le routage permet à un modèle MoE d'utiliser les ressources de manière sélective. Il introduit également un nouveau défi : sans contraintes, le routeur peut envoyer de manière répétée un nombre excessif de jetons aux mêmes experts, laissant ainsi les autres sous-utilisés. Nous abordons ce problème par la suite grâce à l'équilibrage de charge et au contrôle de la capacité des experts.
Optimisation clairsemée du routage : équilibrage de charge et capacité
Pour que les couches MoE fonctionnent efficacement, les jetons doivent être répartis entre les experts. Sans mécanismes de contrôle, le routeur risque d'envoyer trop de jetons à un petit nombre d'experts. Ces derniers se retrouvent alors surchargés, tandis que d'autres sont peu sollicités. Avec les systèmes MoE étant souvent répartis sur plusieurs appareils, un expert surchargé peut bloquer toute la couche [ 13 ].
Une solution courante consiste à utiliser une perte d'équilibrage de charge. Soit f i la fraction de jetons envoyés à l'expert i et P i la probabilité de routage moyenne pour cet expert. Les transformateurs de commutation [ 4 ] utilisent :
(4)
où E représente le nombre d'experts et α détermine dans quelle mesure le modèle est incité à répartir la charge de travail entre eux. Chaque expert dispose également d'un nombre limité de jetons qu'il peut traiter par lot [ 9 , 4 ] :
(5)
où c représente le facteur de capacité et T le nombre de jetons. Si un expert reçoit plus de jetons que sa limite, les tâches supplémentaires peuvent être supprimées ou réacheminées. D'autres méthodes équilibrent les experts plus directement : BASE Layers [ 10 ] modélise l'affectation comme un problème de transport optimal équilibré, Expert Choice Routing [ 18 ] permet à chaque expert de sélectionner un nombre fixe de jetons, et des approches plus récentes ajustent les biais de routage sans perte auxiliaire [ 14 ]. L'équilibrage contribue à l'efficacité du modèle, mais ne garantit pas que chaque expert apprenne un rôle clairement différent.
Du routage parcimonieux à la spécialisation experte
L'équilibrage du trafic n'est que la première étape vers la spécialisation. Les experts peuvent recevoir un nombre comparable de jetons tout en apprenant des fonctions redondantes ou trop générales [ 5 ]. Ce problème peut être abordé à trois niveaux.
L'architecture DeepSeekMoE [ 1 ] remplace un petit ensemble d'experts généralistes par un ensemble plus vaste d'experts plus spécialisés, activant ainsi davantage de ces composants par jeton tout en conservant un budget de calcul similaire. Elle distingue également les experts partagés , exécutés pour chaque jeton et capturant des modèles linguistiques largement utiles, des experts routés sélectionnés conditionnellement, capables de se concentrer sur des informations spécifiques au jeton et au contexte actuels.
Objectifs de formation. Les objectifs d'équilibrage classiques peuvent encore favoriser un routage trop uniforme et un chevauchement des compétences des experts. Guo et al. [ 5 ] proposent des objectifs visant à rendre la sélection des experts plus sélective tout en préservant une utilisation équilibrée.
Analyse a posteriori. La spécialisation peut être mesurée plutôt que présumée. Olson et al. [ 11 ] trouvent que les décisions de routage changent lorsque le même mot apparaît dans différents contextes sémantiques, ce qui suggère que certains choix d'experts reflètent le sens contextuel plutôt que l'identité superficielle du jeton.
Ces trois perspectives convergent vers un point commun : les experts ne sont pas des modules prédéfinis tels que « l’expert en code » ou « l’expert en raisonnement ». Leurs rôles sont définis en fonction de la granularité de leur expertise, de la politique de routage, des objectifs de formation et des données. Ceci est particulièrement important dans les modèles multimodaux, où le routage doit répartir la capacité entre le texte, les images, l’audio et leurs interactions.
MoE en pratique : le routage clairsemé rencontre la formation distribuée
Cette section suppose une certaine familiarité avec les cadres d'entraînement distribué. Si vous avez déjà utilisé DeepSpeed ou PyTorch FSDP, vous reconnaîtrez ces outils ; les modes de défaillance décrits ici sont spécifiques aux couches MoE et ne sont généralement pas documentés dans les guides pratiques.
Cette section utilise Qwen3-Omni-30B-A3B [ 15 ], un modèle MoE multimodal basé sur l'architecture Thinker–Talker de Qwen, comme cas d'étude. Le point de contrôle complet compte 35,26 milliards de paramètres. Nous expliquons pourquoi le partitionnement standard a échoué, pourquoi le parallélisme expert est plus approprié et quel pipeline de réduction de la mémoire a rendu possible l'ajustement fin.
Pourquoi le partitionnement standard des paramètres échoue-t-il pour le ministère de l'Éducation ?
Les grands modèles denses sont souvent entraînés par partitionnement des paramètres : chaque périphérique ne stocke qu’une partie des poids du modèle, et les poids nécessaires sont temporairement regroupés lors de la propagation avant. DeepSpeed ZeRO-3 [ 12 ] et PyTorch FSDP [ 17 ] suivent ce principe.
Cela fonctionne bien pour les Transformers denses car chaque jeton utilise les mêmes couches, ce qui garantit à chaque passage un schéma de mémoire et de communication prévisible. Les couches MoE remettent en question cette hypothèse. Le routage dépend des données : différents jetons d'un même lot peuvent sélectionner différents experts à l'exécution, et un cadre de partitionnement standard ne peut pas savoir à l'avance quels poids d'experts seront nécessaires. En pratique, cela oblige le cadre à rassembler la plupart, voire la totalité, des experts avant que le routage puisse commencer, ce qui repousse le pic de mémoire vers la taille du modèle non partitionné.
Modes de défaillance observés
Nous avons testé cinq configurations de partitionnement sur deux cadres, sur un modèle MoE de 35,26 milliards d'éléments comportant 48 couches et 128 experts par couche, en ciblant quatre GPU A100 de 80 Go. Toutes les configurations ont échoué.
- ZeRO-2 (bf16). ZeRO-2 fragmente les états et les gradients de l'optimiseur, mais réplique les paramètres sur tous les périphériques ; le modèle complet était donc exécuté simultanément sur chaque GPU. L'allocation maximale a atteint 78,56 Gio avant de planter lors d'une allocation d'activation de 14 Mio.
- FSDP FULL_SHARD. L'encapsulation des couches de décodage MoE natives a forcé FSDP à rassembler les 128 experts avant que le routage puisse se poursuivre, reproduisant ainsi l'empreinte complète du modèle sur chaque appareil. L'allocation maximale a atteint 77,99 Gio.
- ZeRO-3 (bf16). Le partitionnement du modèle en pleine précision a causé un plantage immédiat du méta-tenseur (
NotImplementedError: Cannot copy out of meta tensor; no data!), révélant une incompatibilité entre HuggingFacefrom_pretrainedet de DeepSpeed_post_initméthode. - ZeRO-3 + QLoRA. La combinaison du partitionnement ZeRO-3 avec la quantification 4 bits a causé un plantage de l'optimiseur. DeepSpeed partage les paramètres sous forme de tenseurs flottants plats, tandis que bitsandbytes NF4 stocke les poids sous forme de
uint8avec un objet de métadonnées d'état quantitatif distinct. La logique de partitionnement ignore l'état quantitatif, rendant les paramètres reconstruits sans signification à chaque rang. - FSDP SHARD_GRAD_OP. Variante de partitionnement partiel conservant l'intégralité des paramètres lors de la propagation avant. L'allocation maximale était de 77,99 Gio, soit la taille complète du modèle.
Conclusion principale : le routage dépendant des données est fondamentalement incompatible avec le modèle de partitionnement des paramètres à la demande. Ce problème s'est manifesté de manière constante sur deux cadres et cinq configurations, confirmant qu'il s'agit d'un problème d'architecture et non d'un problème de réglage.
| Configuration | Cadre | Mode de défaillance | Mémoire maximale |
|---|---|---|---|
| ZeRO-2 (bf16) | DeepSpeed | Mémoire insuffisante lors de l'activation de l'allocation | 78,56 Go |
| FSDP FULL_SHARD | PyTorch | Réunion complète d'experts | 77,99 Go |
| ZeRO-3 (bf16) | DeepSpeed | Plantage de métatenseur | — |
| ZeRO-3 + QLoRA | DeepSpeed | Plantage de l'optimiseur | — |
| FSDP SHARD_GRAD_OP | PyTorch | Taille complète du modèle conservée | 77,99 Go |
Tableau 1. Configurations de partitionnement testées sur un modèle MoE de 35,26 milliards de Mo réparties sur quatre GPU A100 de 80 Go. Toutes les configurations ont échoué.
Parallélisme d'experts : la bonne approche à long terme
Le parallélisme d'experts (EP) résout ce problème en distribuant les experts plutôt que les poids des couches. Chaque appareil possède en permanence un sous-ensemble disjoint d'experts, et les jetons sont envoyés à l'appareil qui détient les experts sélectionnés par le biais d'une communication globale. Aucun remontage n'est nécessaire.
Les tests de faisabilité ont confirmé qu'une seule couche MoE et une passe avant complète de 48 couches s'exécutaient sans erreur sous DeepSpeed EP. Cependant, EP ne pouvait pas être utilisé pour le réglage fin à partir d'un point de contrôle pré-entraîné. MOELayer Cette classe présente une architecture distincte de l'implémentation MoE de HuggingFace, et le chargement de poids préentraînés dans la structure EP de DeepSpeed nécessiterait un pipeline de remappage de poids de plusieurs gigaoctets et un correctif de propagation avant personnalisé pour concilier les signatures de retour incompatibles. Nous considérons EP comme la voie appropriée à long terme pour l'entraînement MoE à grande échelle.
La solution : réduire, ne pas fragmenter
Plutôt que de répartir les pondérations des experts entre les appareils, la configuration de travail a gardé chaque couche MoE intacte et a placé des couches complètes sur des appareils individuels à l'aide de device_map="auto"Cela a permis un routage local au sein de chaque couche, évitant ainsi la mobilisation d'experts entre les différents appareils lors de la transmission.
La configuration finale était basée sur trois réductions de mémoire. La suppression de l'une d'elles entraînait une erreur de mémoire insuffisante.
| Optimisation | Mise en œuvre | Mémoire maximale |
|---|---|---|
| Ligne de base | Modèle complet 35.26B, bf16 | 70,5 Go |
| QLoRA (4 bits) [ 3 , 6 ] | Poids gelés NF4 ; adaptateurs LoRA dans BF16 | 17,85 Go |
| Attention Flash 2 [ 2 ] | Attention segmentée ; mémoire O(N) vs O(N²) | Erreur de mémoire insuffisante évitée* |
lm_head préhameçon | États cachés réduits à environ 350 positions | 15,6 Go |
Tableau 2. Impact cumulatif sur la mémoire des trois optimisations d'entraînement, appliquées successivement à chaque étape. Pic de mémoire par appareil à 16 images. *Flash Attention 2 supprime l'allocation O(N²) qui causerait une erreur de mémoire insuffisante pour les séquences longues ; son effet n'est visible que pour un grand nombre d'images.
QLoRA [ 3 ] . QLoRA a quantifié les poids de base gelés à 4 bits NF4, tandis que les adaptateurs LoRA [ 6 ] sont restés entraînables dans bf16. Cela a réduit le coût de mémoire fixe le plus élevé sans mettre à jour l'ensemble des 35,26 milliards de paramètres.
Attention Flash 2 [ 2 ] . Pour l'entrée évaluée la plus grande, l'attention standard matérialiserait une matrice d'attention N × N par couche. L'attention par tuiles évite cette allocation tout en conservant la même sortie.
lm_head pré-accrochage. La projection finale devait produire des logits pour toutes les positions des jetons dans un vocabulaire de 152 000 entrées. Comme seulement environ 350 jetons en position de réponse contribuaient à la perte, un mécanisme de préprojection a permis de réduire les états cachés avant la projection, diminuant ainsi la mémoire utilisée pour les logits de 23,3 Go à 0,3 Go.
Ce pipeline a été testé en charge à 128 images (28 746 jetons), atteignant un pic de 60,06 Go et restant dans la même enveloppe matérielle.
Spécialisation multimodale : routage entre les modalités
Avant de procéder aux ajustements fins, il nous fallait comprendre ce que le routeur avait déjà appris. Nous avons donc audité la structure de routage sur l'ensemble des 48 couches du Thinker. La question centrale était la suivante : le routeur traite-t-il les jetons audio, visuels et textuels comme des problèmes de calcul distincts, ou bien achemine-t-il toutes les modalités vers un ensemble commun d'experts ?
Nous avons effectué une analyse de routage sur l'ensemble des 48 couches MoE sur 13 domaines thématiques vidéo distincts, en capturant les modèles d'activation des experts par modalité et par couche.
Une transition modalité-sémantique à travers les couches
Nous avons calculé la similarité de Jaccard des ensembles d'experts activés pour une même modalité, et ce, pour différents domaines thématiques. Une similarité de 1,0 indique des ensembles d'experts identiques, indépendamment de leur contenu sémantique. Parmi les 28 premières couches, la similarité moyenne de Jaccard s'est maintenue à 0,9731. Parmi les 48 couches, elle est tombée à 0,8804.
Cela révèle une transition structurelle. Dans les couches 1 à 28, le routeur attribue les jetons aux experts principalement en fonction de la modalité. Dans les couches 29 à 48, le routage commence à se différencier par le contenu sémantique : un même jeton audio appartenant à un domaine thématique est envoyé à des experts significativement différents de ceux qui l’attribuent à un autre domaine. Le routage dans les couches profondes reflète la signification du jeton dans son contexte, et non plus seulement son type de signal.
Stabilité différentielle selon les modalités
| Modalité | Chevauchement des experts (top 20) | Stabilité |
|---|---|---|
| Audio | 18/20 | Haut |
| Vidéo | 16/20 | Modéré |
| Texte | 11/20 | Faible / dynamique |
Tableau 3. Persistance des parcours d'experts dans les deux moitiés du modèle Thinker à 48 couches. Le chevauchement correspond au nombre d'experts communs parmi les 20 premiers activés par modalité entre les couches 1 à 28 et les couches 29 à 48.
Les jetons audio et vidéo conservent des parcours d'experts cohérents sur toute la profondeur du réseau. Les jetons textuels présentent une volatilité de routage nettement plus importante : moins de la moitié des 20 meilleurs experts en texte sont communs aux couches superficielles et profondes, ce qui indique que le modèle réaffecte dynamiquement les textes à différents experts lorsqu'il passe de l'encodage perceptif au raisonnement de haut niveau.
Déclin de l'entropie de routage
L'entropie de contrôle mesure le degré de concentration ou de distribution des décisions de routage à chaque couche. Elle a atteint un pic de 3,97 à la couche 5, puis a diminué de façon monotone jusqu'à 3,12 à la couche 47. Cela confirme la spécialisation progressive : le routage se concentre de plus en plus à mesure que les jetons se rapprochent de la sortie. Chacun des 128 experts a été activé au moins une fois au cours de l'évaluation portant sur 48 couches et 13 sujets.
Implications pour le réglage fin : gel du routeur
Comme les tables de routage étaient déjà fortement convergées et que tous les experts étaient activement utilisés, nous avons gelé le routeur MoE pour un réglage fin. Cela a éliminé le besoin d'une perte d'équilibrage de charge auxiliaire [ 4 ] et a concentré l'intégralité du budget des paramètres entraînables sur les projections d'attention dense du Thinker, préservant ainsi la structure de routage déjà développée par le modèle.
Perspectives d'avenir : défis à relever pour le ministère de l'Éducation
Parallélisme expert à l'échelle du réglage fin. Le parallélisme expert (EP) est théoriquement la stratégie distribuée optimale pour les modèles clairsemés, mais les implémentations actuelles sont conçues pour un entraînement à partir d'une initialisation aléatoire. Combler cet écart rendrait l'EP utilisable pour le réglage fin à partir de points de contrôle pré-entraînés.
Stabilité du routage lors d'un apprentissage continu. Nos résultats suggèrent que la structure de routage est déjà pertinente avant le réglage précis propre à la tâche. Des méthodes de surveillance de la stabilité du routage pendant le réglage fin constitueraient une contribution pratique précieuse.
Sélection de jetons pour les entrées multimodales. Nos expériences montrent que l'échantillonnage uniforme des images n'apporte plus autant d'améliorations : passer de 16 à 64 images a amélioré la perte de validation de 0,079, tandis qu'une augmentation supplémentaire à 96 images n'a permis qu'un gain de 0,029 pour une puissance de calcul 1,5 fois supérieure. Une stratégie de sélection de jetons pourrait donc s'avérer plus efficace qu'un simple allongement de la séquence.
Évaluation en cas de perturbation du format de sortie. Environ 20 % des évaluations à une seule époque n'ont produit aucune sortie valide, non pas par manque de connaissances du modèle, mais parce que celui-ci n'avait pas encore stabilisé la structure de réponse attendue. Les protocoles d'évaluation permettant de distinguer les erreurs de format des erreurs de raisonnement offriraient une vision plus précise de la progression de l'apprentissage.
Essayez-le vous-même
Le pipeline d'entraînement complet de QLoRA, y compris la configuration NF4 4 bits, la configuration Flash Attention 2 et lm_head Le module « pré-hook » est disponible sous forme de carnet exécutable. Il détaille chaque étape d'ingénierie d'une entrée d'exemple SONIC-O1.
Références
[1] D. Dai et al., « DeepSeekMoE : Vers une spécialisation ultime des experts dans les modèles de langage de mélange d'experts », dans Proc. ACL , 2024.
[2] T. Dao, « FlashAttention-2 : une attention plus rapide avec un meilleur parallélisme et un meilleur partitionnement du travail », dans ICLR , 2024.
[3] T. Dettmers, A. Pagnoni, A. Holtzman et L. Zettlemoyer, « QLoRA : réglage fin efficace des LLM quantifiés », NeurIPS , vol. 36, 2023.
[4] W. Fedus, B. Zoph et N. Shazeer, « Switch Transformers : passage à des modèles à un billion de paramètres avec une parcimonie simple et efficace », JMLR , vol. 23, n° 120, 2022.
[5] H. Guo et al., « Faire progresser la spécialisation des experts pour une meilleure maîtrise de l’éducation », NeurIPS , vol. 38, 2025.
[6] EJ Hu et al., « LoRA : Adaptation de bas rang de grands modèles de langage », dans ICLR , 2022.
[7] RA Jacobs, MI Jordan, SJ Nowlan et GE Hinton, « Mélanges adaptatifs d'experts locaux », Neural Computation , vol. 3, no. 1, pp. 79–87, 1991.
[8] MI Jordan et RA Jacobs, « Mélanges hiérarchiques d'experts et l'algorithme EM », Neural Computation , vol. 6, no. 2, pp. 181–214, 1994.
[9] D. Lepikhin et al., « GShard : Mise à l'échelle de modèles géants avec calcul conditionnel et partitionnement automatique », dans ICLR , 2021.
[10] M. Lewis et al., « Couches de base : simplifier l’entraînement de grands modèles épars », dans ICML , 2021.
[11] ML Olson et al., « Sondage du routage sémantique dans de grands modèles de mélange d'experts », dans les résultats d'EMNLP , 2025.
[12] S. Rajbhandari, J. Rasley, O. Ruwase et Y. He, « Zéro : Optimisations de mémoire pour l’entraînement de modèles à mille milliards de paramètres », dans Proc. SC , 2020.
[13] N. Shazeer et al., « Réseaux neuronaux outrageusement grands : la couche de mélange d'experts à portes clairsemées », dans ICLR , 2017.
[14] D. Wang et al., « Stratégie d’équilibrage de charge sans perte auxiliaire pour un mélange d’experts », arXiv:2408.15664, 2024.
[15] Équipe Qwen, « Rapport technique Qwen3-Omni », 2025.
[16] WX Zhao et al., « A Survey of Large Language Models », arXiv:2303.18223, 2023.
[17] Y. Zhao et al., « PyTorch FSDP : Expériences sur la mise à l'échelle parallèle des données entièrement partitionnées », Proc. Endowment VLDB , vol. 16, no. 12, 2023.
[18] Z. Zhou et al., « Mixture of-Experts with Expert Choice Routing », NeurIPS , vol. 35, 2022.
