MLOps
Qu'est-ce que LoRA ? Définition (fine-tuning IA)
Définition de LoRA (Low-Rank Adaptation) : une technique de fine-tuning efficace qui adapte un grand modèle en n'entraînant qu'un petit nombre de paramètres.
25 juin 20261 min
Image de couverture
LoRA est une technique de fine-tuning efficace qui adapte un grand modèle en n'entraînant qu'un petit nombre de paramètres additionnels, au lieu de ré-entraîner le modèle entier.
Résultat : un fine-tuning beaucoup moins coûteux en calcul et en mémoire, avec des résultats proches d'un fine-tuning complet. QLoRA combine LoRA et quantization pour aller encore plus loin. Très utilisé pour spécialiser des LLM open-weights à moindre coût.
→ Voir notre expertise en optimisation de modèles.