LLM local sans carte graphique : ce qui tient, ce qui plante
Domaine : IA locale, modèles de langage, matériel
Période : août à septembre 2026
Client : projet interne, mes propres sociétés (Lab 77, R&D)
Faire tourner un modèle de langage de 30 milliards de paramètres sur un mini-PC sans carte graphique dédiée, avec son seul processeur graphique intégré : je l'ai fait d'août à septembre 2026, pour des commandes vocales et un assistant documentaire. Une partie tient ; une autre plante, pour une raison encore inconnue. Voici ce que j'ai mesuré, ce que j'ai abandonné, et ce que je garde en local.
Contexte
Dans mon article sur les LLM en local, j'explique que la mémoire décide de tout, et que le raisonnement généraliste de mes assistants passe par un modèle en ligne. Cet article raconte l'essai inverse : confier à un modèle local ce qui peut l'être. Un processeur graphique intégré n'a pas de mémoire propre : le modèle loge dans la mémoire vive de la machine, partagée avec le processeur. Pour servir le modèle, j'utilise NoLlama, un serveur libre (licence MIT) conçu pour ce type de matériel, qui s'appuie sur OpenVINO GenAI (licence Apache 2.0). Le même modèle a ensuite servi l'assistant de ma bibliothèque hors ligne.
Problème
- Une réponse trop lente : au départ, une commande vocale mettait de 18 à 29 secondes à aboutir, et une sur quatre échouait.
- Un format fragile : un assistant qui pilote des appareils doit produire des appels d'outil exacts. Au moindre écart de format, la commande devient du texte lu à voix haute.
- Une mémoire partagée : tout ce qui tourne sur la machine se dispute les mêmes ressources.
- Des pannes : le processeur graphique s'est bloqué à plusieurs reprises, sans prévenir.
La démarche
1. Mesurer avant de choisir le modèle
Mon intuition : ajouter un petit modèle, plus rapide, pour la voix. La mesure l'a démentie. Sur le même protocole, un modèle dense de 8 milliards de paramètres répondait en 19,0 secondes sur le processeur et en 9,3 secondes sur la puce graphique ; Qwen3-30B-A3B, un modèle « à experts » de 30 milliards qui n'en active qu'environ 3 milliards à chaque mot, répondait en 4,8 secondes. Le gros était le plus rapide ; un second banc l'a confirmé : 2,7 secondes, contre 5,3 pour un modèle dense de 4 milliards.
2. Corriger les vrais goulots
Trois réglages ont fait l'essentiel. D'abord, la variante « Instruct » du modèle (licence Apache 2.0), qui ne raisonne pas à voix haute avant de répondre. Ensuite, une correction du serveur, qui ne reconnaissait pas un format d'appel d'outil légèrement différent produit par ce modèle : ma modification n'accepte ce format que pour un outil réellement déclaré. Enfin, une réserve de mémoire agrandie pour le début des requêtes déjà traitées : quand elle sert, le temps avant le premier mot tombe d'une quinzaine de secondes à environ 200 millisecondes.
3. Abandonner ce qui ne tenait pas
Deux gros modèles chargés en même temps : échec, testé deux fois, alors que la mémoire restait largement disponible. Le modèle de 30 milliards sur le seul processeur : trop lent. La puce dédiée à l'IA : écartée, car le serveur n'y autorise pas les appels d'outil et plafonne les requêtes à 4 096 jetons, quand celles de l'assistant vocal en dépassent 20 000. Un modèle plus récent qui raisonne par défaut : 38 secondes pour dire bonjour, et aucun appel d'outil.
4. Chercher la cause des pannes sans conclure trop vite
Pendant une panne, toute génération échoue, alors que le contrôle de santé du serveur annonce toujours « prêt ». Le journal du système compte 8 épisodes sur 35 jours, dont 6 en une semaine. Ma première explication, des requêtes trop longues, puis la seconde, un volume trop élevé, ont été réfutées par la mesure : un jour, la machine a servi 1 831 générations, avec des requêtes allant jusqu'à 2 100 jetons environ, sans un seul incident. Une panne s'est aussi produite sur une machine presque au repos, ce qui écarte la charge du processeur comme cause unique. La cause n'est pas établie. La piste suivie est le pilote graphique : une première mise à jour a été appliquée mi-septembre, et je n'ai pas de quoi affirmer qu'elle règle le problème.
Résultat
La commande vocale aboutit en 2,6 à 4,1 secondes, contre 18 à 29 au départ, et quatre commandes sur quatre ont été exécutées au test de validation, contre trois auparavant. Un seul modèle sert tout. Le calcul des index de recherche tourne désormais dans un processus séparé, sur le processeur : relancer le modèle après une panne n'interrompt plus l'indexation.
Ce que j'en retiens
- Un modèle à experts change la donne sur un petit matériel. Vitesse d'un petit modèle, connaissances d'un gros, si la mémoire suffit à le loger.
- Un contrôle de santé doit générer. Un service qui répond « prêt » sans pouvoir produire une phrase induit en erreur. Je ne me fie qu'à une vraie génération.
- Garder en local ce qui est court et délimité. Commandes vocales, réponses brèves tirées de documents, classement de fiches de livres : le modèle local s'en sort. Sur de longues requêtes de conversation, j'ai mesuré environ 15 secondes avant la réponse ; la confier à un modèle en ligne reste un arbitrage entre vitesse et autonomie hors connexion.
- Écrire « cause non établie » quand c'est le cas. Une hypothèse notée comme un fait finit par guider les décisions suivantes.
Pour aller plus loin
Vous voulez savoir ce qu'un modèle local peut faire sur le matériel que vous avez déjà, avant d'acheter une carte graphique ? Je mesure sur vos cas réels, puis je dimensionne. Voyez l'IA souveraine, ou réservez un appel découverte de 20 minutes.
Sources
- NoLlama, dépôt officiel (licence MIT), consulté le 15 novembre 2026.
- OpenVINO GenAI, dépôt officiel (licence Apache 2.0), consulté le 15 novembre 2026.
- Qwen3-30B-A3B-Instruct-2507, fiche officielle du modèle (licence Apache 2.0), consultée le 15 novembre 2026.
- Photo : TranslucentFoxHuman / Wikimedia Commons (commons.wikimedia.org), licence CC0.
Tags : IA locale, LLM, processeur graphique intégré, modèle à experts, NoLlama, OpenVINO, Qwen3, mesure, IA souveraine