Ir al contenido

LLM en local: modelos grandes en máquinas pequeñas

Lo que puede ejecutar un equipo o un servidor pequeño, la memoria necesaria, lo que se pierde en calidad y lo que se queda en casa.
15 de noviembre de 2026 por
LLM en local: modelos grandes en máquinas pequeñas
Federico Solutions, Myrko Federico

Ejecutar un LLM en local ya no es cosa exclusiva de los centros de datos. Comprimido, un modelo de 8 mil millones de parámetros cabe en la memoria de una estación de trabajo reciente, y una máquina con 128 GB de memoria aloja un modelo de 70 mil millones. El precio: algo de calidad y mucha memoria. Lo que usted gana: sus documentos no salen de la oficina.

Lo esencial

  • La memoria lo decide todo. Comprimido a unos 4 bits, un modelo pesa tres veces menos: 4,58 GiB en lugar de 14,96 GiB para Llama 3.1 8B, según la documentación de llama.cpp.
  • Esta compresión, la cuantización, cuesta algo de calidad, que conviene comprobar con sus propios casos.
  • Los modelos «de expertos» solo activan una parte de sí mismos: gpt-oss-20b tiene 21 mil millones de parámetros, usa 3,6 mil millones en cada palabra y cabe en 16 GB de memoria, según OpenAI.
  • Los modelos pequeños «destilados» heredan parte del saber de un modelo grande, no todo.
  • Los motores son libres (licencias MIT o Apache 2.0), con una excepción: LM Studio es una aplicación propietaria.

Ejecutar un LLM en local: lo que permite su equipo

Un modelo de lenguaje es un gran archivo de números, los parámetros. Para responder, la máquina debe mantenerlos en memoria y releerlos en cada palabra. Bastan, pues, dos preguntas para dimensionar: cuánta memoria, y a qué velocidad se lee.

  • El equipo que ya tiene. Con 16 a 32 GB de memoria, un modelo comprimido de 7 a 8 mil millones de parámetros funciona: lento solo con el procesador, correcto con una tarjeta gráfica. Suficiente para resumir, reformular u ordenar correos.
  • El equipo con tarjeta gráfica. NVIDIA vende tarjetas de consumo con 16 GB de memoria (GeForce RTX 5060 Ti) y hasta 32 GB (GeForce RTX 5090). El modelo debe caber en esa memoria para ir rápido.
  • La máquina de memoria unificada. En un Mac reciente o un PC con procesador AMD Ryzen AI Max+ 395, el procesador y el chip gráfico comparten la misma memoria: hasta 64 GB en un Mac mini, 128 GB con el procesador de AMD, 512 GB en un Mac Studio. Ahí caben los modelos de 30 a 70 mil millones de parámetros.

Los PC recientes también llevan un chip dedicado a la IA, la NPU: Microsoft anuncia más de 40 billones de operaciones por segundo para sus PC Copilot+. Sirve sobre todo a los modelos pequeños integrados en el sistema. Para un asistente de tamaño medio, yo miro primero la memoria.

Lo que usted pierde en calidad

Dos pérdidas que no hay que confundir. La primera viene de la compresión. Los investigadores que publicaron el método GPTQ redujeron un modelo de 175 mil millones de parámetros a 3 o 4 bits por parámetro con una pérdida de precisión que consideran insignificante. Los autores de llama.cpp recuerdan, sin embargo, que la pérdida existe y que se mide.

La segunda, mayor, viene del tamaño. DeepSeek publica sus propias cifras: en una misma prueba de matemáticas (AIME 2024), su versión destilada de 1,5 mil millones de parámetros resuelve el 28,9 % de los problemas, la de 32 mil millones el 72,6 %.

Mi regla: un modelo local pequeño para las tareas bien delimitadas y repetitivas, y un modelo más grande, local o externo bajo contrato, para el razonamiento difícil. La comparativa de herramientas ayuda a elegir la interfaz.

Lo que se queda en su empresa

El archivo del modelo es suyo: no cambia sin su acuerdo, no desaparece cuando un proveedor retira una versión, y sus preguntas y documentos se quedan en su máquina. Las razones estratégicas están en mi artículo sobre la IA autoalojada.

Bajo el capó: para su informático

Memoria necesaria ≈ pesos + caché KV + margen. Pesos en bytes = parámetros × bits por peso / 8. Caché KV por token = 2 (clave y valor) × capas × cabezas KV × dimensión de cabeza × bytes por valor. Ejemplo con la configuración oficial de Qwen3-8B (8,2 mil millones de parámetros, 36 capas, 8 cabezas KV, dimensión 128): 147 456 bytes por token en 16 bits, unos 4,8 GB para un contexto de 32 768 tokens. Los pesos en Q4_K_M (4,89 bits por peso) ocupan unos 5 GB. Total: una decena de GB, que cabe en una tarjeta de 16 GB; en BF16, solo los pesos (16,4 GB) no caben.

  • Formatos. GGUF es el archivo único de llama.cpp, metadatos incluidos. Sus k-quants (Q4_K_M, Q5_K_M, Q6_K) cuantizan por bloques con factores de escala; Q8_0 ocupa 8,5 bits por peso. En GPU, GPTQ (información de segundo orden, 3 a 4 bits) y AWQ (proteger alrededor del 1 % de pesos destacados, identificados por las activaciones) se sirven con vLLM. El NF4 de QLoRA corresponde al entrenamiento a medida.
  • MoE. Qwen3-30B-A3B: 30,5 mil millones de parámetros en total, 3,3 mil millones activados, 8 expertos de 128 por token. La memoria se calcula sobre el total (unos 19 GB en Q4_K_M), el cálculo sobre los activos. gpt-oss-20b se entrega cuantizado en MXFP4.
  • Destilación. Hinton, Vinyals y Dean (2015) entrenan un modelo pequeño con las salidas de uno grande. Los DeepSeek-R1-Distill (1,5 a 70 mil millones) son modelos Qwen 2.5 y Llama 3 ajustados con 800 000 ejemplos generados por R1: la licencia de cada modelo sigue la de su base.
  • Motores. llama.cpp (MIT, v1.0.0): CPU, Metal, CUDA, ejecución híbrida CPU y GPU para modelos mayores que la VRAM, caché de expertos MoE en la memoria del host. Ollama (MIT): el envoltorio más sencillo, pero también ofrece modelos en la nube, hay que comprobarlo. vLLM (Apache 2.0): servidor multiusuario, PagedAttention. MLX (MIT): el marco de Apple para Apple silicon. LM Studio: aplicación propietaria, uso interno permitido por sus condiciones.
  • Hardware. La velocidad de generación sigue al ancho de banda de memoria: 1,2 TB/s en el Mac Studio M5 Ultra, 614 GB/s en M5 Max. La NPU del AMD Ryzen AI Max+ 395 anuncia 50 TOPS, de 126 TOPS en total.

Lo que he aprendido

En mi infraestructura domótica, el reconocimiento de voz (Whisper) y la síntesis de voz (Piper) funcionan en local, sin conexión, en un servidor con procesador AMD Ryzen de 12 núcleos y 64 GB de memoria: unos 800 ms para transcribir, 400 ms para responder. El razonamiento, en cambio, pasa por una API externa.

En DataTerra, los modelos de visión funcionan en el procesador, sin tarjeta gráfica, la mayoría exportados a ONNX. Lo que saco en claro: los modelos especializados funcionan muy bien en equipos corrientes. Es el razonamiento general el que exige memoria, y ahí hay que separar lo que se queda en casa de lo que sale, contando también el costo de las API.

Por dónde empezar

1. Escribir veinte casos reales

Correos que ordenar, contratos que resumir, preguntas de sus clientes, con la respuesta esperada. Sin esta lista, ninguna prueba tiene sentido.

2. Probar en una máquina existente

Un modelo comprimido de 7 a 8 mil millones de parámetros, lanzado con Ollama en un equipo de 16 GB, basta para ver qué funciona y qué no.

3. Dimensionar después

Si el modelo pequeño falla con sus casos, pruebe uno más grande o de expertos, y calcule la memoria necesaria antes de elegir una tarjeta gráfica o una máquina de memoria unificada.

Preguntas frecuentes

¿Basta con un portátil?

Para un uso personal con un modelo pequeño, a menudo sí. Para un equipo que consulta el mismo modelo todo el día, hace falta una máquina dedicada.

¿Hace falta una tarjeta NVIDIA?

No. llama.cpp funciona en procesadores, en chips de Apple y en tarjetas de varios fabricantes; vLLM también admite tarjetas AMD e Intel.

¿Un modelo local vale lo que un gran modelo en línea?

No para todo: en una tarea delimitada, a menudo sí; para el razonamiento complejo, la diferencia es real. Combine ambos según la sensibilidad de los datos.

Para ir más lejos

Le ayudo a elegir el modelo y el equipo adecuados a sus casos, y a instalarlo todo en su empresa: vea la IA soberana y la infraestructura, o reserve una llamada de descubrimiento de 20 minutos.

Fuentes

Foto de portada: Nick Stathas / Wikimedia Commons, licencia CC BY-SA 4.0.

Etiquetas: IA, LLM en local, cuantización, hardware, código abierto

IA autoalojada: por qué una pyme debe conservar una parte
Confidencialidad, soberanía, dependencia del proveedor: lo que debe quedarse con usted y lo que puede ir a una API externa.