Qu’est-ce que la distillation de modèle, et pourquoi rend-elle les petits modèles plus intelligents?

Les grands modèles coûtent cher à faire tourner, et bien des tâches n’ont pas besoin de toute leur puissance. La distillation est la façon courante de transmettre à un petit modèle ce qu’un grand modèle sait. Le grand modèle est l’enseignant; le petit, l’élève. Au lieu d’apprendre seulement à partir des données d’origine, l’élève apprend à reproduire ce que fait l’enseignant.

L’idée est plus vieille que les robots conversationnels. Geoffrey Hinton, Oriol Vinyals et Jeff Dean lui ont donné son nom dans un article de 2015, Distilling the Knowledge in a Neural Network, et s’en sont servis pour réduire des modèles de reconnaissance vocale utilisés à très grande échelle. En octobre 2026, elle se trouve derrière bon nombre des petits modèles et des modèles de taille moyenne que les gens font tourner sur leur propre ordinateur.

Pourquoi les réponses d’un enseignant valent mieux que des données brutes

L’observation clé de Hinton porte sur ce qu’un modèle entraîné « sait » au-delà de la bonne réponse. Montrez à un classificateur d’images la photo d’une BMW : il donne une forte probabilité à « voiture », une toute petite à « camion à ordures » et une encore plus petite à « carotte ». L’étiquette correcte seule dit seulement « voiture ». L’ensemble complet des probabilités de l’enseignant, que l’article appelle cibles souples (soft targets), dit aussi qu’une voiture ressemble davantage à un camion qu’à un légume. Cette information supplémentaire reflète la façon dont l’enseignant généralise, et un élève entraîné avec elle apprend plus vite et à partir de moins d’exemples.

Pour rendre visibles ces toutes petites probabilités, l’article augmente un réglage appelé température pendant la production des sorties de l’enseignant, ce qui répartit la probabilité plus également entre les réponses. L’élève s’entraîne à la même température élevée, puis fonctionne normalement une fois l’entraînement terminé. Les auteurs ont constaté que le mieux était de combiner les cibles souples avec les vraies étiquettes, en donnant moins de poids aux étiquettes.

Comment ça fonctionne pour les modèles de langage aujourd’hui

Avec les robots conversationnels, la forme la plus courante est plus simple : l’enseignant rédige des réponses complètes, et l’élève est ajusté sur celles-ci. Le lancement de R1 par DeepSeek en janvier 2025 en est un cas clair et documenté. L’entreprise a pris environ 800 000 exemples sélectionnés avec son grand modèle de raisonnement et s’en est servie pour ajuster six modèles ouverts plus petits, de 1,5 à 70 milliards de paramètres, basés sur Qwen et Llama. Elle a indiqué que transmettre ainsi les schémas de raisonnement du grand modèle donnait de meilleurs résultats que d’entraîner les petits modèles par apprentissage par renforcement, par leurs propres moyens.

Cela explique pourquoi les modèles distillés font mieux que leur taille ne le laisse croire. Les réponses de l’enseignant sont cohérentes, bien formatées et montrent leur raisonnement étape par étape, alors que le texte ordinaire du Web est désordonné et s’explique rarement. L’élève copie une façon de travailler soignée plutôt que de la découvrir à partir de rien.

Un exemple concret : distiller pour une seule tâche

Disons qu’il vous faut un petit modèle local qui classe les courriels de soutien dans six catégories, avec une raison en une ligne.

1. Rassemblez de 1 000 à 2 000 vrais courriels, sans renseignements personnels.
2. Demandez à un modèle enseignant performant d’étiqueter chacun dans un format fixe, et vérifiez un échantillon à la main.
3. Retirez ou corrigez les réponses avec lesquelles vous n’êtes pas d’accord; l’élève copiera fidèlement les erreurs.
4. Ajustez un élève de 3 à 8 milliards de paramètres sur les paires nettoyées, comme le décrit le guide sur l’ajustement fin d’un petit modèle.
5. Testez l’enseignant et l’élève sur 100 courriels qu’aucun des deux n’a vus, et comparez la précision, la vitesse et le coût.

Quand pouvez-vous distiller un modèle pour votre propre usage, et que permettent les conditions d’utilisation?

Avant l’étape 2, vérifiez si le propriétaire de l’enseignant le permet. Il y a trois situations courantes.

Les modèles ouverts aux conditions permissives. Certains modèles à poids ouverts disent oui explicitement. DeepSeek indique que sa série R1 permet l’usage commercial, toute modification et les œuvres dérivées, y compris la distillation pour entraîner d’autres modèles de langage. Ses propres versions distillées montrent une autre règle utile : chaque élève conserve aussi la licence du modèle sur lequel il a été bâti, Apache 2.0 pour ceux basés sur Qwen et les licences Llama de Meta pour les autres.

Les modèles ouverts aux licences sur mesure. Certaines licences communautaires limitent l’utilisation d’un modèle ou de ses résultats pour améliorer d’autres grands modèles de langage. Lisez la licence et toute politique d’utilisation liée avant de commencer; l’article compagnon sur les licences des modèles à poids ouverts explique quoi chercher.

Les modèles fermés, par API ou application. Ici, ce sont les conditions d’utilisation qui décident. Les conditions commerciales d’Anthropic, par exemple, disent que les clients possèdent leurs résultats, mais elles interdisent aussi d’utiliser le service pour bâtir un produit concurrent, y compris pour entraîner des modèles d’IA concurrents, sans l’approbation expresse d’Anthropic. Distiller un modèle fermé en un petit classificateur privé qui ne fait pas concurrence au fournisseur n’est pas la même chose que bâtir un assistant généraliste rival, mais le libellé varie selon l’entreprise et le forfait : lisez donc les conditions actuelles du service exact que vous utilisez.

Dans le doute, les enseignants les plus sûrs sont les modèles ouverts dont la licence permet explicitement la distillation, ou vos propres données étiquetées et vérifiées par une personne. Pour tout ce que vous vendrez, obtenez un avis juridique sur les conditions précises.