Se rendre au contenu

LLM en local : de gros modèles sur de petites machines

Ce qu'un poste ou un petit serveur fait tourner, la mémoire qu'il faut, ce que l'on perd en qualité et ce que l'on garde chez soi.
15 novembre 2026 par
LLM en local : de gros modèles sur de petites machines
Federico Solutions, Myrko Federico

Faire tourner un LLM en local n'est plus réservé aux centres de calcul. Compressé, un modèle de 8 milliards de paramètres tient dans la mémoire d'un poste de travail récent, et une machine dotée de 128 Go de mémoire accueille un modèle de 70 milliards. Le prix à payer : un peu de qualité, et beaucoup de mémoire. Ce que vous y gagnez : vos documents ne quittent pas le bureau.

L'essentiel

  • La mémoire décide de tout. Compressé à environ 4 bits, un modèle pèse trois fois moins : 4,58 Gio au lieu de 14,96 Gio pour Llama 3.1 8B, selon la documentation de llama.cpp.
  • Cette compression, la quantification, coûte un peu de qualité, à vérifier sur vos propres cas.
  • Les modèles « à experts » n'activent qu'une partie d'eux-mêmes : gpt-oss-20b compte 21 milliards de paramètres, en utilise 3,6 milliards à chaque mot et tient dans 16 Go de mémoire, selon OpenAI.
  • Les petits modèles « distillés » héritent d'une partie du savoir d'un grand modèle, pas de tout.
  • Les moteurs sont libres (licences MIT ou Apache 2.0), à une exception près : LM Studio est une application propriétaire.

Faire tourner un LLM en local : ce que votre matériel permet

Un modèle de langage, c'est un gros fichier de nombres, les paramètres. Pour répondre, la machine doit les garder en mémoire, et les relire à chaque mot. Deux questions suffisent donc à dimensionner : combien de mémoire, et à quelle vitesse elle se lit.

  • Le poste existant. Avec 16 à 32 Go de mémoire, un modèle de 7 à 8 milliards de paramètres compressé tourne, lentement sur le seul processeur, correctement avec une carte graphique. Assez pour résumer, reformuler, trier des courriels.
  • Le poste équipé d'une carte graphique. NVIDIA vend des cartes grand public avec 16 Go de mémoire (GeForce RTX 5060 Ti) et jusqu'à 32 Go (GeForce RTX 5090). Le modèle doit tenir dans cette mémoire-là pour aller vite.
  • La machine à mémoire unifiée. Sur un Mac récent ou un PC à processeur AMD Ryzen AI Max+ 395, le processeur et la puce graphique partagent la même mémoire : jusqu'à 64 Go sur un Mac mini, 128 Go sur le processeur d'AMD, 512 Go sur un Mac Studio. C'est là que logent les modèles de 30 à 70 milliards de paramètres.

Les PC récents ont aussi une puce dédiée à l'IA, le NPU : Microsoft annonce plus de 40 000 milliards d'opérations par seconde pour ses PC Copilot+. Elle sert surtout aux petits modèles intégrés au système. Pour un assistant de taille moyenne, je regarde d'abord la mémoire.

Ce que vous perdez en qualité

Deux pertes, à ne pas confondre. La première vient de la compression. Les chercheurs qui ont publié la méthode GPTQ ont ramené un modèle de 175 milliards de paramètres à 3 ou 4 bits par paramètre avec une perte de précision qu'ils jugent négligeable. Les auteurs de llama.cpp rappellent toutefois qu'une perte existe, et qu'elle se mesure.

La seconde, plus forte, vient de la taille. DeepSeek publie ses propres chiffres : sur un même test de mathématiques (AIME 2024), sa version distillée de 1,5 milliard de paramètres résout 28,9 % des problèmes, celle de 32 milliards 72,6 %.

Ma règle : un petit modèle local pour les tâches bien délimitées et répétitives, et un modèle plus grand, local ou externe sous contrat, pour le raisonnement difficile. Le comparatif des outils aide à choisir l'interface.

Ce qui reste chez vous

Le fichier du modèle vous appartient : il ne change pas sans votre accord, il ne disparaît pas quand un éditeur retire une version, et vos questions comme vos documents restent sur votre machine. Les raisons stratégiques sont dans mon article sur l'IA auto-hébergée.

Sous le capot : pour votre informaticien

Mémoire nécessaire ≈ poids + cache KV + marge. Poids en octets = paramètres × bits par poids / 8. Cache KV par token = 2 (clé et valeur) × couches × têtes KV × dimension de tête × octets par valeur. Exemple sur la configuration officielle de Qwen3-8B (8,2 milliards de paramètres, 36 couches, 8 têtes KV, dimension 128) : 147 456 octets par token en 16 bits, soit environ 4,8 Go pour 32 768 tokens de contexte. Les poids en Q4_K_M (4,89 bits par poids) font environ 5 Go. Total : une dizaine de Go, ce qui passe sur une carte de 16 Go ; en BF16, les poids seuls (16,4 Go) ne passent pas.

  • Formats. GGUF est le fichier unique de llama.cpp, métadonnées comprises. Ses k-quants (Q4_K_M, Q5_K_M, Q6_K) quantifient par blocs avec des facteurs d'échelle ; Q8_0 fait 8,5 bits par poids. Côté GPU, GPTQ (information du second ordre, 3 à 4 bits) et AWQ (protéger environ 1 % de poids saillants, repérés par les activations) sont servis par vLLM. Le NF4 de QLoRA relève de l'entraînement sur mesure.
  • MoE. Qwen3-30B-A3B : 30,5 milliards de paramètres au total, 3,3 milliards activés, 8 experts sur 128 par token. La mémoire se calcule sur le total (environ 19 Go en Q4_K_M), le calcul sur les actifs. gpt-oss-20b est livré quantifié en MXFP4.
  • Distillation. Hinton, Vinyals et Dean (2015) entraînent un petit modèle sur les sorties d'un grand. Les DeepSeek-R1-Distill (1,5 à 70 milliards) sont des Qwen 2.5 et Llama 3 affinés sur 800 000 exemples générés par R1 : la licence de chaque modèle suit celle de sa base.
  • Moteurs. llama.cpp (MIT, v1.0.0) : CPU, Metal, CUDA, exécution hybride CPU et GPU pour les modèles plus gros que la VRAM, cache d'experts MoE en mémoire hôte. Ollama (MIT) : l'emballage le plus simple, mais il propose aussi des modèles dans le cloud, à vérifier. vLLM (Apache 2.0) : serveur multi-utilisateurs, PagedAttention. MLX (MIT) : le cadre d'Apple pour Apple silicon. LM Studio : application propriétaire, usage interne autorisé par ses conditions.
  • Matériel. La vitesse de génération suit la bande passante mémoire : 1,2 To/s sur le Mac Studio M5 Ultra, 614 Go/s en M5 Max. Le NPU de l'AMD Ryzen AI Max+ 395 annonce 50 TOPS, sur 126 TOPS au total.

Ce que j'en ai appris

Dans mon infrastructure domotique, la reconnaissance vocale (Whisper) et la synthèse vocale (Piper) tournent en local, sans connexion, sur un serveur à processeur AMD Ryzen 12 cœurs et 64 Go de mémoire : environ 800 ms pour transcrire, 400 ms pour répondre. Le raisonnement, lui, passe par une API externe.

Sur DataTerra, les modèles de vision tournent sur processeur, sans carte graphique, la plupart exportés au format ONNX. Ce que j'en retiens : les modèles spécialisés tiennent très bien sur du matériel ordinaire. C'est le raisonnement généraliste qui réclame de la mémoire : c'est là qu'il faut trier ce qui reste chez soi et ce qui sort, en comptant aussi le coût des API.

Par où commencer

1. Écrire vingt cas réels

Des courriels à trier, des contrats à résumer, des questions de vos clients, avec la réponse attendue. Sans cette liste, aucun test n'a de sens.

2. Essayer sur une machine existante

Un modèle de 7 à 8 milliards de paramètres compressé, lancé avec Ollama sur un poste de 16 Go, suffit à voir ce qui passe et ce qui ne passe pas.

3. Dimensionner ensuite

Si le petit modèle échoue sur vos cas, essayez un modèle plus grand ou à experts, puis calculez la mémoire nécessaire avant de choisir une carte graphique ou une machine à mémoire unifiée.

Questions fréquentes

Un ordinateur portable suffit-il ?

Pour un usage personnel avec un petit modèle, souvent oui. Pour une équipe qui interroge le même modèle toute la journée, il faut une machine dédiée.

Faut-il forcément une carte NVIDIA ?

Non. llama.cpp fonctionne sur processeur, sur les puces Apple et sur les cartes de plusieurs fabricants ; vLLM prend aussi en charge les cartes AMD et Intel.

Un modèle local vaut-il un grand modèle en ligne ?

Pas pour tout : sur une tâche délimitée, souvent oui ; pour le raisonnement complexe, l'écart reste réel. Combinez les deux selon la sensibilité des données.

Pour aller plus loin

Je vous aide à choisir le modèle et le matériel adaptés à vos cas, puis à installer le tout chez vous : voyez l'IA souveraine et l'infrastructure, ou réservez un appel découverte de 20 minutes.

Sources

Photo de couverture : Nick Stathas / Wikimedia Commons, licence CC BY-SA 4.0.

Tags : IA, LLM en local, quantification, matériel, open source

IA auto-hébergée : pourquoi une PME doit en garder une part
Confidentialité, souveraineté, dépendance au fournisseur : ce qui doit rester chez vous, et ce qui peut partir vers une API externe.