La distillation de connaissance consiste à entraîner un modèle plus petit (« élève ») à imiter les sorties d'un modèle plus grand et performant (« professeur »).
L'objectif : obtenir un modèle compact, rapide et peu coûteux qui conserve une grande partie de la qualité du modèle d'origine. Utile pour déployer de l'IA à l'échelle ou sur des contraintes de latence/coût fortes.
→ Voir notre expertise en optimisation de modèles.
Équipe Origin 137Origin 137