LoRA (Low-Rank Adaptation)
Définition
LoRA, pour Low-Rank Adaptation, est une technique de fine-tuning conçue pour adapter de très grands modèles (comme un LLM de plusieurs milliards de paramètres) à un cas d'usage spécifique, sans devoir réentraîner ou stocker une copie complète du modèle. L'astuce est mathématique : au lieu de modifier les poids du modèle, on apprend de petites matrices supplémentaires "low-rank" qui viennent corriger les sorties. Le modèle d'origine reste figé, et ces matrices LoRA pèsent typiquement quelques mégaoctets, là où le modèle complet en pèse plusieurs gigaoctets. Conséquence pratique : on peut fine-tuner un modèle avec un GPU modeste, stocker plusieurs adaptations LoRA pour différents domaines (juridique, médical, support client), et les charger à la volée selon la tâche. C'est aujourd'hui la méthode standard pour personnaliser un LLM open-weight comme Llama ou Mistral à un contexte d'entreprise.
Voir aussi
Aller plus loin avec hIAppy
Vous voulez appliquer concrètement LoRA (Low-Rank Adaptation) dans votre PME ou ETI ?
- Diagnostic IA hIAppy Vision : on cadre votre cas d'usage en 4 à 6 semaines.
- Prototype IA hIAppy Lab : POC fonctionnel en 5 à 15 jours.
- Formations IA hIAppy Learn : ateliers et formations sur mesure.