Qu’est-ce que MiniMax M3, et qu’exige sa licence communautaire?

MiniMax, une entreprise d’IA de Shanghai, a publié hier les poids de son modèle M3 sur Hugging Face. Les poids sont les nombres qu’un modèle a appris à l’entraînement, et ils permettent de le faire tourner sur vos propres machines. La version hébergée a été lancée le 1er juin, quand l’entreprise a promis les fichiers et un rapport technique d’ici dix jours. Ils sont arrivés onze jours plus tard, près de cette promesse.

M3 est conçu pour lire de très longs textes à moindre coût. Il arrive aussi avec l’une des licences les plus détaillées parmi les modèles ouverts, qui mérite une lecture attentive avant tout usage commercial.

Ce qui a été publié

La fiche technique du modèle décrit M3 ainsi :

Un paramètre est un nombre appris, et un jeton est un petit morceau de texte. M3 est un modèle à mixture of experts (mélange d’experts) : seule une partie travaille sur chaque jeton. Le calcul dépend donc des 23 milliards, et la mémoire, des 428 milliards.

Les modes de raisonnement méritent qu’on s’y arrête. Plusieurs modèles rivaux réfléchissent toujours avant de répondre, alors que M3 vous laisse désactiver cette étape pour réduire le délai et le coût, ou laisser le modèle décider.

Comment fonctionne l’attention clairsemée

L’idée nouvelle est la MiniMax Sparse Attention (MSA), une attention clairsemée. Dans un modèle de langage, l’attention est l’étape où le modèle revoit tout ce qui précède pour décider ce qui compte pour le prochain mot. Normalement, cela coûte plus cher à mesure que le texte grandit et, à un million de jetons, la mémoire nécessaire pour garder cet historique devient le principal coût.

Pensez à la lecture d’un très long dossier juridique. Vous ne relisez pas chaque page avant d’écrire chaque phrase. Vous consultez l’index, vous sortez les quelques sections pertinentes et vous les lisez de près. MSA fonctionne dans le même esprit. Le résumé d’Implicator, tiré de la description de MiniMax, dit qu’une étape de préfiltrage choisit les blocs pertinents avant le calcul complet de l’attention.

MiniMax déclare, par rapport à M2 à un million de jetons, une accélération de 9 fois en lecture de l’entrée et de 15 fois en écriture de la sortie, et dit que le calcul par jeton tombe au vingtième. L’entreprise a publié l’opérateur et un rapport technique. Ce sont ses propres mesures : des essais indépendants compteront davantage.

Ce qu’il faut pour le faire tourner

Le calcul est simple. Prenez la version de 444 Go et divisez par 80 Go, une taille courante de carte graphique de centre de données. Il faut donc au moins six cartes pour les poids seuls, plus la mémoire de travail pour votre contexte. Le guide d’installation de vLLM s’articule autour de machines à huit GPU. MiniMax énumère aussi SGLang, Transformers, KTransformers, Unsloth et ATOM d’AMD.

Un million de jetons de contexte n’est pas gratuit non plus. Une longue séance garde énormément de données en mémoire, et l’avantage de MSA dépendra du bon soutien de votre moteur.

La plupart des gens utiliseront donc d’abord une version hébergée. Implicator indique les prix standard de MiniMax : 0,60 $ US par million de jetons en entrée et 2,40 $ US par million en sortie.

Faut-il contacter MiniMax pour utiliser M3 en entreprise?

Oui, dans presque tous les cas commerciaux, mais en général par un simple courriel. La permission du début couvre les fins non commerciales. L’usage commercial est ensuite permis sous conditions :

« Commercial Use » est défini largement. Cela comprend la vente de produits qui reposent sur M3, l’usage commercial de ses API et le déploiement d’une version ajustée finement à toute fin commerciale. Notez que le critère de revenus s’applique aux produits et services concernés, selon le texte de la licence, ce qui diffère des critères à l’échelle du groupe de certains autres laboratoires.

Une annexe interdit plusieurs usages, dont tout soutien à des fins militaires, les préjudices aux mineurs et la production de fausses informations dans l’intention de nuire. Ces interdictions s’appliquent à tout le monde et aux œuvres dérivées : une entreprise des chaînes d’approvisionnement en défense doit s’arrêter et lire avant d’aller plus loin.

Le point pratique, c’est qu’il ne s’agit ni d’Apache 2.0 ni de MIT, et que « poids ouverts » ne veut pas dire « gratuit pour toute entreprise sans contact ». Les démarches sont légères pour une petite firme : une ligne d’attribution et un courriel. Gardez une copie de cet avis dans vos dossiers.