Le fine-tuning consiste à réentraîner légèrement un modèle d'IA existant sur vos propres exemples, pour qu'il fasse une tâche précise mieux qu'un modèle généraliste. Depuis LoRA et QLoRA, c'est devenu abordable sur un seul serveur. Mais ce n'est pas toujours le bon outil : pour qu'une IA connaisse vos documents, le RAG est souvent plus simple, et un bon prompt suffit parfois.
L'essentiel
- Trois façons de spécialiser une IA : le prompt (instructions et exemples), le RAG (le modèle consulte vos documents), le fine-tuning (le modèle apprend une tâche).
- Le fine-tuning apprend surtout une forme, un style, une décision répétitive ; il est mal adapté aux informations qui changent.
- LoRA et QLoRA ont rendu l'opération accessible : on n'entraîne qu'une petite fraction du modèle.
- Des petits modèles ouverts récents, sous licence Apache 2.0 ou MIT, se prêtent bien à cet usage.
- Avant le premier entraînement : quelques dizaines à quelques centaines d'exemples soignés, un jeu de test, et une licence vérifiée.
Prompt, RAG ou fine-tuning : trois outils pour trois problèmes
Le prompt est la première étape, et elle ne coûte rien : des instructions claires, quelques exemples de bonnes réponses. Beaucoup de projets s'arrêtent là.
Le RAG (génération augmentée par récupération) répond à un autre besoin : que l'IA connaisse vos procédures, vos contrats, votre catalogue. Le modèle ne change pas ; à chaque question, on lui fournit les passages utiles de vos documents. Quand un tarif change, vous mettez le document à jour, et la réponse suit. J'en ai expliqué le principe dans cet article sur le RAG.
Le fine-tuning modifie le modèle lui-même. Il sert quand le problème n'est pas ce que le modèle sait, mais ce qu'il fait : respecter toujours le même format de sortie, classer des demandes selon vos catégories, adopter le ton de votre maison, extraire les mêmes champs de milliers de documents. Une étude de Meta publiée en 2023 (LIMA) va dans ce sens : ses auteurs concluent que presque toutes les connaissances d'un modèle viennent de son pré-entraînement, et qu'il suffit de peu de données pour lui apprendre à bien répondre.
Ma règle pratique : connaissances qui changent, RAG ; comportement stable et répétitif, fine-tuning ; et toujours le prompt d'abord.
Pourquoi le fine-tuning devient l'avenir des petits modèles spécialisés
Réentraîner un modèle entier était hors de portée d'une PME. Deux travaux ont changé la donne. En 2021, une équipe de Microsoft a publié LoRA : on fige le modèle d'origine et on n'entraîne que de petites matrices ajoutées. Sur GPT-3, ses auteurs mesurent 10 000 fois moins de paramètres à entraîner et trois fois moins de mémoire graphique, pour une qualité égale ou supérieure. En 2023, QLoRA (université de Washington) a combiné cette méthode avec un modèle compressé en 4 bits : un modèle de 65 milliards de paramètres s'affine alors sur une seule carte graphique de 48 Go.
En parallèle, les petits modèles ouverts se sont multipliés. Au 15 novembre 2026, Google publie Gemma 4 (de E2B à 31B) sous licence Apache 2.0, Alibaba la série Qwen3.5 (de 0,8 à 9 milliards de paramètres pour les plus petits) sous Apache 2.0, Mistral AI les Ministral 3 (3B, 8B, 14B) sous Apache 2.0, et Microsoft sa famille Phi-4 sous licence MIT.
L'avenir que je vois pour une PME n'est donc pas un modèle géant qui sait tout, mais quelques petits modèles affinés, chacun excellent dans une tâche, qui tournent chez elle. Le choix du modèle généraliste, je le traite dans l'article sur les gros modèles, et l'hébergement dans celui sur l'IA auto-hébergée.
Données et licence : ce qu'il faut avant de commencer
Les données. Il en faut peu, mais de bonnes. La documentation d'OpenAI indique un minimum de 10 exemples, des améliorations visibles dès 50 à 100, et recommande de commencer par 50 exemples soignés. LIMA a obtenu de bons résultats avec 1 000 exemples choisis avec soin. Mettez de côté une partie des exemples pour tester le modèle : sans ce jeu de test, impossible de savoir s'il s'est amélioré. Et si vos exemples contiennent des données personnelles, le droit de la protection des données s'applique à l'entraînement comme au reste.
La licence du modèle de base. Votre modèle affiné hérite de ses conditions. Apache 2.0 et MIT permettent l'usage commercial sans condition particulière. D'autres licences en posent : celle de Llama 4 (Meta) impose d'afficher « Built with Llama », de faire commencer par « Llama » le nom d'un modèle dérivé que vous distribuez, et exige une licence spéciale au-delà de 700 millions d'utilisateurs mensuels. Lisez la carte du modèle avant de choisir, pas après.
Sous le capot : pour votre informaticien
Un fine-tuning LoRA sur un petit modèle ouvert tient sur une seule carte graphique. Licences vérifiées sur les dépôts officiels le 15 novembre 2026.
- Hugging Face PEFT (Apache 2.0) : l'implémentation de référence de LoRA et des méthodes apparentées, au-dessus de Transformers.
- Hugging Face TRL (Apache 2.0) : les entraîneurs prêts à l'emploi pour le fine-tuning supervisé et l'alignement sur préférences.
- Unsloth : le cœur est sous Apache 2.0, mais certains composants optionnels, dont l'interface Unsloth Studio, sont sous AGPL-3.0. Il exporte notamment au format GGUF, lisible par llama.cpp et Ollama.
- Axolotl (Apache 2.0) : tout le pipeline (préparation des données, entraînement, évaluation, quantification) décrit dans un seul fichier YAML, donc reproductible.
- Service. vLLM sait servir plusieurs adaptateurs LoRA sur un même modèle de base : un modèle en mémoire, plusieurs spécialités. Sinon, fusionnez l'adaptateur et quantifiez.
- Pièges. Utilisez le même modèle de conversation (chat template) qu'à l'entraînement ; surveillez le surapprentissage sur le jeu de test ; vérifiez que le modèle n'a pas perdu ses capacités générales. Un modèle peut restituer des passages de ses données d'entraînement : n'y mettez rien qui ne doive pas ressortir, ou gardez-le strictement interne.
Ce que j'en ai appris
Mon projet DataTerra a fait ce choix pour la vision : plutôt qu'un gros modèle généraliste, des petits modèles entraînés sur ses propres images, chacun pour un défaut précis comme les fissures ou la corrosion. Je raconte cette démarche dans l'article sur la détection.
Pour mes agents, à l'inverse, je n'affine aucun modèle. Ce qu'ils doivent savoir change tous les jours : décisions, projets, préférences. Cela vit dans une mémoire persistante, une base de recherche que j'héberge, c'est-à-dire du RAG, et les règles de travail sont écrites dans leurs instructions. Une tâche stable justifie un entraînement ; une connaissance vivante, non.
Par où commencer
1. Écrire la tâche et rassembler 50 exemples
Une phrase pour la tâche, puis 50 paires « entrée, bonne réponse » tirées de votre activité réelle, relues par la personne qui fait ce travail aujourd'hui. Gardez-en une partie pour le test.
2. Essayer le prompt, puis le RAG
Mesurez le résultat sur vos exemples de test. Si le modèle se trompe parce qu'il ignore vos documents, c'est un problème de RAG ; s'il connaît la réponse mais la formule mal, c'est un candidat au fine-tuning.
3. Affiner un petit modèle ouvert, et comparer
Choisissez un modèle sous licence claire, entraînez un adaptateur LoRA, puis comparez-le au modèle d'origine sur le même jeu de test. Gardez-le seulement s'il fait mieux.
Questions fréquentes
Le fine-tuning peut-il apprendre mon catalogue à l'IA ?
Mal. Les prix et les références changent, et un modèle affiné ne se met pas à jour tout seul. Pour un catalogue, le RAG est le bon outil ; le fine-tuning peut ensuite régler la façon de présenter la réponse.
Faut-il un spécialiste pour faire un fine-tuning ?
Côté technique, un informaticien à l'aise avec Python suffit. Le vrai travail est de définir la tâche et de produire de bons exemples : c'est votre métier qui le fait.
À qui appartient le modèle affiné ?
Si vous l'entraînez chez vous sur un modèle ouvert, l'adaptateur est à vous, dans les limites de la licence du modèle de base. Si vous passez par le service d'un fournisseur, le modèle affiné reste chez lui et suit son calendrier de retrait.
Pour aller plus loin
Je conçois des applications et automatisations sur mesure, avec un modèle local quand la confidentialité l'exige, et une API externe quand c'est acceptable. Les guides de mon serveur IA personnel détaillent la pile technique. Pour savoir si votre cas relève du prompt, du RAG ou du fine-tuning : un appel découverte de 20 minutes.
Sources
- LoRA: Low-Rank Adaptation of Large Language Models, Hu et al., arXiv 2106.09685, 17 juin 2021.
- QLoRA: Efficient Finetuning of Quantized LLMs, Dettmers et al., arXiv 2305.14314, 23 mai 2023.
- LIMA: Less Is More for Alignment, Zhou et al., arXiv 2305.11206, 18 mai 2023.
- Supervised fine-tuning, OpenAI (consulté le 15 novembre 2026).
- Gemma 4, carte du modèle et licence Apache 2.0, Google, mars 2026 (consulté le 15 novembre 2026).
- Qwen3.5-9B, carte du modèle, Qwen (Alibaba), février 2026 (consulté le 15 novembre 2026).
- Ministral 3 8B Instruct, carte du modèle, Mistral AI (consulté le 15 novembre 2026).
- Phi-4-reasoning-vision-15B, carte du modèle, Microsoft, janvier 2026 (consulté le 15 novembre 2026).
- Llama 4 Community License Agreement, Meta, 5 avril 2025.
- Dépôts officiels et licences : PEFT, TRL, Unsloth, Axolotl, vLLM, GitHub (consultés le 15 novembre 2026).
Photo de couverture : Yılmaz Kilim / Wikimedia Commons, domaine public (CC0).
Tags : fine-tuning, LoRA, RAG, petits modèles, IA spécialisée, open source