LoRA est une technique de fine-tuning efficace qui adapte un grand modèle en n'entraînant qu'un petit nombre de paramètres additionnels, au lieu de ré-entraîner le modèle entier.
Résultat : un fine-tuning beaucoup moins coûteux en calcul et en mémoire, avec des résultats proches d'un fine-tuning complet. QLoRA combine LoRA et quantization pour aller encore plus loin. Très utilisé pour spécialiser des LLM open-weights à moindre coût.
→ Voir notre expertise en optimisation de modèles.
Équipe Origin 137Origin 137