LLM local sin tarjeta gráfica: lo que aguanta y lo que falla
Ámbito: IA local, modelos de lenguaje, hardware
Periodo: de agosto a septiembre de 2026
Cliente: proyecto interno, mis propias empresas (Lab 77, I+D)
Ejecutar un modelo de lenguaje de 30 mil millones de parámetros en un mini-PC sin tarjeta gráfica dedicada, solo con su procesador gráfico integrado: lo hice de agosto a septiembre de 2026, para comandos de voz y un asistente documental. Una parte aguanta; otra falla, por una razón aún desconocida. Esto es lo que medí, lo que abandoné y lo que mantengo en local.
Contexto
En mi artículo sobre los LLM en local, explico que la memoria lo decide todo, y que el razonamiento generalista de mis asistentes pasa por un modelo en línea. Este artículo cuenta el ensayo inverso: confiar a un modelo local lo que puede confiársele. Un procesador gráfico integrado no tiene memoria propia: el modelo se aloja en la memoria RAM de la máquina, compartida con el procesador. Para servir el modelo, uso NoLlama, un servidor libre (licencia MIT) diseñado para este tipo de hardware, que se apoya en OpenVINO GenAI (licencia Apache 2.0). El mismo modelo sirvió después al asistente de mi biblioteca sin conexión.
Problema
- Una respuesta demasiado lenta: al principio, un comando de voz tardaba de 18 a 29 segundos en completarse, y uno de cada cuatro fallaba.
- Un formato frágil: un asistente que controla aparatos debe producir llamadas a herramientas exactas. Ante la menor desviación de formato, el comando se convierte en texto leído en voz alta.
- Una memoria compartida: todo lo que funciona en la máquina se disputa los mismos recursos.
- Caídas: el procesador gráfico se bloqueó varias veces, sin aviso.
El enfoque
1. Medir antes de elegir el modelo
Mi intuición: añadir un modelo pequeño, más rápido, para la voz. La medición la desmintió. Con el mismo protocolo, un modelo denso de 8 mil millones de parámetros respondía en 19,0 segundos en el procesador y en 9,3 segundos en el chip gráfico; Qwen3-30B-A3B, un modelo «de expertos» de 30 mil millones que solo activa unos 3 mil millones en cada palabra, respondía en 4,8 segundos. El grande era el más rápido; una segunda prueba lo confirmó: 2,7 segundos, frente a 5,3 para un modelo denso de 4 mil millones.
2. Corregir los verdaderos cuellos de botella
Tres ajustes hicieron lo esencial. Primero, la variante «Instruct» del modelo (licencia Apache 2.0), que no razona en voz alta antes de responder. Después, una corrección del servidor, que no reconocía un formato de llamada a herramienta ligeramente distinto producido por este modelo: mi modificación solo acepta ese formato para una herramienta realmente declarada. Por último, una reserva de memoria ampliada para el inicio de las solicitudes ya procesadas: cuando se usa, el tiempo hasta la primera palabra baja de unos quince segundos a unos 200 milisegundos.
3. Abandonar lo que no aguantaba
Dos modelos grandes cargados a la vez: fallo, probado dos veces, aunque quedaba mucha memoria disponible. El modelo de 30 mil millones solo en el procesador: demasiado lento. El chip dedicado a la IA: descartado, porque el servidor no permite en él las llamadas a herramientas y limita las solicitudes a 4096 tokens, cuando las del asistente de voz superan los 20 000. Un modelo más reciente que razona por defecto: 38 segundos para decir hola, y ninguna llamada a herramienta.
4. Buscar la causa de las caídas sin concluir demasiado rápido
Durante una caída, toda generación falla, mientras que el control de salud del servidor sigue anunciando «listo». El registro del sistema cuenta 8 episodios en 35 días, 6 de ellos en una sola semana. Mi primera explicación, solicitudes demasiado largas, y luego la segunda, un volumen demasiado alto, fueron refutadas por la medición: un día, la máquina sirvió 1831 generaciones, con solicitudes de hasta unos 2100 tokens, sin un solo incidente. También hubo una caída con la máquina casi en reposo, lo que descarta la carga del procesador como causa única. La causa no está establecida. La pista que se sigue es el controlador gráfico: se aplicó una primera actualización a mediados de septiembre, y no tengo con qué afirmar que resuelva el problema.
Resultado
El comando de voz se completa en 2,6 a 4,1 segundos, frente a 18 a 29 al principio, y cuatro comandos de cuatro se ejecutaron en la prueba de validación, frente a tres antes. Un solo modelo lo sirve todo. El cálculo de los índices de búsqueda funciona ahora en un proceso separado, en el procesador: reiniciar el modelo tras una caída ya no interrumpe la indexación.
Lo que me llevo
- Un modelo de expertos cambia las reglas en un hardware modesto. La velocidad de un modelo pequeño, los conocimientos de uno grande, si la memoria basta para alojarlo.
- Un control de salud debe generar. Un servicio que responde «listo» sin poder producir una frase induce a error. Solo me fío de una generación real.
- Mantener en local lo que es breve y acotado. Comandos de voz, respuestas breves sacadas de documentos, clasificación de fichas de libros: el modelo local cumple. En solicitudes largas de conversación, medí unos 15 segundos antes de la respuesta; confiarlas a un modelo en línea sigue siendo un arbitraje entre velocidad y autonomía sin conexión.
- Escribir «causa no establecida» cuando es así. Una hipótesis anotada como un hecho acaba guiando las decisiones siguientes.
Para ir más lejos
¿Quiere saber qué puede hacer un modelo local en el hardware que ya tiene, antes de comprar una tarjeta gráfica? Mido sobre sus casos reales y luego dimensiono. Vea la IA soberana, o reserve una llamada de descubrimiento de 20 minutos.
Fuentes
- NoLlama, repositorio oficial (licencia MIT), consultado el 15 de noviembre de 2026.
- OpenVINO GenAI, repositorio oficial (licencia Apache 2.0), consultado el 15 de noviembre de 2026.
- Qwen3-30B-A3B-Instruct-2507, ficha oficial del modelo (licencia Apache 2.0), consultada el 15 de noviembre de 2026.
- Foto: TranslucentFoxHuman / Wikimedia Commons (commons.wikimedia.org), licencia CC0.
Etiquetas: IA local, LLM, procesador gráfico integrado, modelo de expertos, NoLlama, OpenVINO, Qwen3, medición, IA soberana