Mélange d’experts ou modèle dense, qu’exige chaque conception du matériel?

Si l’idée est nouvelle pour vous, notre explication du mélange d’experts montre comment un routeur envoie chaque jeton à quelques sous-réseaux. Cet article continue à partir de là et pose la question pratique : qu’exige chaque conception du matériel, et quand chacune a-t-elle du sens?

En bref, un modèle a deux tailles différentes. Le total des paramètres détermine la mémoire nécessaire. Les paramètres actifs (ceux qui servent à chaque jeton) déterminent l’essentiel du calcul par jeton. Dans un modèle dense, ces deux nombres sont égaux. Dans un mélange d’experts (mixture of experts, ou MoE), ils peuvent être très éloignés.

L’écart entre les deux nombres

Regardez la première et la dernière ligne. Kimi K2 compte environ 31 fois plus de paramètres que Qwen3-32B, mais fait à peu près autant de calculs par jeton. C’est là l’attrait : plus de connaissances et d’habiletés stockées, sans hausse équivalente du coût de chaque étape.

Le nombre de paramètres ne mesure pas directement la qualité, et ces modèles diffèrent à bien d’autres égards, dont les données et les méthodes d’entraînement. Le tableau compare la structure et non les capacités.

Un exemple chiffré : la facture de mémoire

Voici maintenant le hic. Supposons que chaque paramètre soit stocké sur 8 bits, soit un octet, un format compressé courant. Ce calcul simplifié ne compte pas la mémoire de travail supplémentaire dont un vrai système a besoin.

Le modèle MoE a donc la même facture de calcul par jeton et environ 31 fois la facture de mémoire. La mémoire coûte cher et elle est actuellement rare : c’est un vrai compromis, et pas un cadeau.

Pourquoi le MoE met à l’épreuve les liens entre les puces

La taille de la mémoire n’est que la première exigence. Les ingénieurs de Nvidia décrivent deux autres problèmes dans un billet de décembre 2025. Comme un grand MoE est trop gros pour un seul GPU, ses experts sont répartis sur plusieurs, une méthode appelée parallélisme d’experts (expert parallelism). Ensuite :

• La bande passante de mémoire subit une forte pression, parce que les paramètres de différents experts doivent être tirés de la mémoire rapide pour chaque jeton.
• Les puces doivent se parler sans arrêt, parce que les jetons vont à des experts sur d’autres GPU et que les réponses doivent être combinées vite. Si ce trafic quitte les liens internes rapides pour un réseau plus lent, l’avantage diminue.

C’est pourquoi cette conception a façonné le matériel. Nvidia affirme qu’une armoire de 72 GPU, la GB200 NVL72, fait tourner Kimi K2 Thinking et des modèles semblables 10 fois plus vite que ses systèmes H200 précédents, pour un dixième du coût par jeton. Google, de son côté, a décrit son TPU Ironwood comme conçu pour des charges qui incluent le MoE. Traitez ces chiffres avec prudence : ils viennent de l’entreprise qui vend le système, dans des conditions d’essai qu’elle a choisies.

L’entraînement comporte un deuxième coût caché. Les experts doivent se partager le travail également, sinon certains sont surchargés pendant que d’autres restent inactifs. L’article sur DeepSeek-V3 décrit une méthode d’équilibrage de charge conçue pour y arriver sans ajouter de pénalité à l’entraînement. Les modèles denses n’ont tout simplement pas ce problème.

Quelles conceptions dominent, et où

À grande taille, le MoE est devenu la norme. En décembre 2025, Nvidia notait que les 10 meilleurs modèles ouverts du classement d’Artificial Analysis l’utilisaient tous, dont DeepSeek-R1, Kimi K2 Thinking, gpt-oss-120B et Mistral Large 3. Elle affirme aussi que presque tous les modèles de pointe fonctionnent ainsi, mais les laboratoires fermés publient rarement leur conception : cette affirmation plus large est difficile à vérifier.

Le modèle dense n’a pas disparu. La famille Qwen3 comprend des modèles denses de 8, 14 et 32 milliards de paramètres à côté de ses versions MoE, et les petits modèles denses restent courants. À cette taille, les économies de routage sont moindres et la simplicité compte davantage : un seul bloc par couche, sans routeur ni équilibrage de charge.

Quelle architecture choisir si vous faites tourner des modèles vous-même?

Commencez par la mémoire, car c’est la limite ferme. Calculez la taille du téléchargement selon le total des paramètres et vérifiez qu’il tient dans votre GPU ou votre mémoire unifiée, avec de la marge. Si un modèle dense et un MoE tiennent tous les deux, essayez-les sur votre propre tâche : pour une même mémoire, le MoE pourrait tourner nettement plus vite que sa taille totale le laisse croire.

Si seule une partie d’un modèle tient en mémoire rapide, certains outils peuvent laisser le reste dans la mémoire système, plus lente. Les modèles MoE s’en tirent parfois mieux que les denses dans ce cas, parce que seuls quelques experts sont actifs par jeton. Cela reste plus lent que d’avoir tout en mémoire rapide, et les résultats varient selon l’outil et la machine : testez avant d’acheter du matériel. Pour une personne débutante avec une machine typique, un petit modèle dense ou un petit MoE d’une famille récente est le point de départ le plus simple.