Se rendre au contenu

LLM local sans carte graphique : ce qui tient, ce qui plante

Un modèle de 30 milliards de paramètres sur un mini-PC à processeur graphique intégré : mesures, abandons et pannes.
16 novembre 2026 par
LLM local sans carte graphique : ce qui tient, ce qui plante
Federico Solutions, Myrko Federico

LLM local sans carte graphique : ce qui tient, ce qui plante

Domaine : IA locale, modèles de langage, matériel

Période : août à septembre 2026

Client : projet interne, mes propres sociétés (Lab 77, R&D)

Faire tourner un modèle de langage de 30 milliards de paramètres sur un mini-PC sans carte graphique dédiée, avec son seul processeur graphique intégré : je l'ai fait d'août à septembre 2026, pour des commandes vocales et un assistant documentaire. Une partie tient ; une autre plante, pour une raison encore inconnue. Voici ce que j'ai mesuré, ce que j'ai abandonné, et ce que je garde en local.

Contexte

Dans mon article sur les LLM en local, j'explique que la mémoire décide de tout, et que le raisonnement généraliste de mes assistants passe par un modèle en ligne. Cet article raconte l'essai inverse : confier à un modèle local ce qui peut l'être. Un processeur graphique intégré n'a pas de mémoire propre : le modèle loge dans la mémoire vive de la machine, partagée avec le processeur. Pour servir le modèle, j'utilise NoLlama, un serveur libre (licence MIT) conçu pour ce type de matériel, qui s'appuie sur OpenVINO GenAI (licence Apache 2.0). Le même modèle a ensuite servi l'assistant de ma bibliothèque hors ligne.

Problème

  • Une réponse trop lente : au départ, une commande vocale mettait de 18 à 29 secondes à aboutir, et une sur quatre échouait.
  • Un format fragile : un assistant qui pilote des appareils doit produire des appels d'outil exacts. Au moindre écart de format, la commande devient du texte lu à voix haute.
  • Une mémoire partagée : tout ce qui tourne sur la machine se dispute les mêmes ressources.
  • Des pannes : le processeur graphique s'est bloqué à plusieurs reprises, sans prévenir.

La démarche

1. Mesurer avant de choisir le modèle

Mon intuition : ajouter un petit modèle, plus rapide, pour la voix. La mesure l'a démentie. Sur le même protocole, un modèle dense de 8 milliards de paramètres répondait en 19,0 secondes sur le processeur et en 9,3 secondes sur la puce graphique ; Qwen3-30B-A3B, un modèle « à experts » de 30 milliards qui n'en active qu'environ 3 milliards à chaque mot, répondait en 4,8 secondes. Le gros était le plus rapide ; un second banc l'a confirmé : 2,7 secondes, contre 5,3 pour un modèle dense de 4 milliards.

2. Corriger les vrais goulots

Trois réglages ont fait l'essentiel. D'abord, la variante « Instruct » du modèle (licence Apache 2.0), qui ne raisonne pas à voix haute avant de répondre. Ensuite, une correction du serveur, qui ne reconnaissait pas un format d'appel d'outil légèrement différent produit par ce modèle : ma modification n'accepte ce format que pour un outil réellement déclaré. Enfin, une réserve de mémoire agrandie pour le début des requêtes déjà traitées : quand elle sert, le temps avant le premier mot tombe d'une quinzaine de secondes à environ 200 millisecondes.

3. Abandonner ce qui ne tenait pas

Deux gros modèles chargés en même temps : échec, testé deux fois, alors que la mémoire restait largement disponible. Le modèle de 30 milliards sur le seul processeur : trop lent. La puce dédiée à l'IA : écartée, car le serveur n'y autorise pas les appels d'outil et plafonne les requêtes à 4 096 jetons, quand celles de l'assistant vocal en dépassent 20 000. Un modèle plus récent qui raisonne par défaut : 38 secondes pour dire bonjour, et aucun appel d'outil.

4. Chercher la cause des pannes sans conclure trop vite

Pendant une panne, toute génération échoue, alors que le contrôle de santé du serveur annonce toujours « prêt ». Le journal du système compte 8 épisodes sur 35 jours, dont 6 en une semaine. Ma première explication, des requêtes trop longues, puis la seconde, un volume trop élevé, ont été réfutées par la mesure : un jour, la machine a servi 1 831 générations, avec des requêtes allant jusqu'à 2 100 jetons environ, sans un seul incident. Une panne s'est aussi produite sur une machine presque au repos, ce qui écarte la charge du processeur comme cause unique. La cause n'est pas établie. La piste suivie est le pilote graphique : une première mise à jour a été appliquée mi-septembre, et je n'ai pas de quoi affirmer qu'elle règle le problème.

Résultat

La commande vocale aboutit en 2,6 à 4,1 secondes, contre 18 à 29 au départ, et quatre commandes sur quatre ont été exécutées au test de validation, contre trois auparavant. Un seul modèle sert tout. Le calcul des index de recherche tourne désormais dans un processus séparé, sur le processeur : relancer le modèle après une panne n'interrompt plus l'indexation.

Ce que j'en retiens

  • Un modèle à experts change la donne sur un petit matériel. Vitesse d'un petit modèle, connaissances d'un gros, si la mémoire suffit à le loger.
  • Un contrôle de santé doit générer. Un service qui répond « prêt » sans pouvoir produire une phrase induit en erreur. Je ne me fie qu'à une vraie génération.
  • Garder en local ce qui est court et délimité. Commandes vocales, réponses brèves tirées de documents, classement de fiches de livres : le modèle local s'en sort. Sur de longues requêtes de conversation, j'ai mesuré environ 15 secondes avant la réponse ; la confier à un modèle en ligne reste un arbitrage entre vitesse et autonomie hors connexion.
  • Écrire « cause non établie » quand c'est le cas. Une hypothèse notée comme un fait finit par guider les décisions suivantes.

Pour aller plus loin

Vous voulez savoir ce qu'un modèle local peut faire sur le matériel que vous avez déjà, avant d'acheter une carte graphique ? Je mesure sur vos cas réels, puis je dimensionne. Voyez l'IA souveraine, ou réservez un appel découverte de 20 minutes.

Sources

Tags : IA locale, LLM, processeur graphique intégré, modèle à experts, NoLlama, OpenVINO, Qwen3, mesure, IA souveraine

Mesurer avant de vendre : le banc d'essai de mes IA
Un examen fixé avant l'entraînement, une machine qui ne choisit pas son gagnant, des verdicts écrits.