AirLLM y DeepSeek en una laptop: lo que sí cumple y lo que no
AirLLM, herramienta de código abierto en GitHub, corre modelos enormes capa por capa con poca memoria de video. La promesa es cierta solo a medias: ahorra memoria, pero cobra en tiempo y en disco.
Qué dice el README, qué miden las pruebas y para qué le sirve a un negocio mexicano
Sí cabe en poca memoria de video. Lo que no dice el titular viral es cuánto tarda y cuánto disco pide.
Un video viral prometía correr DeepSeek-R1 con 4 GB de RAM. La herramienta detrás se llama AirLLM, es de código abierto y está publicada en GitHub. Hace algo real e interesante, pero la letra chica cambia la conclusión: los modelos enormes sí caben en poca memoria de video, y el precio se paga en tiempo y en espacio en disco.
En resumen
AirLLM es una herramienta de código abierto, ya publicada en GitHub, que carga los modelos capa por capa. Según su README oficial, DeepSeek-V3 (671 mil millones de parámetros) cabe en unos 12 GB de memoria de video y un modelo de 70B en 4 GB. El costo es tiempo: 19.6 segundos por token en una Mac mini con un modelo de 8B. Sirve para experimentar, no para atender clientes.
- Los 4 GB del README son de memoria de video y para modelos de 70B.
- DeepSeek-V3 pide unos 12 GB según el README; para R1 no hay cifra ahí.
- En Mac solo corren modelos tipo Llama y Mistral.
- Sirve para pruebas privadas y por lotes, no para chat en vivo.
Qué es AirLLM y en qué punto está
AirLLM es una librería de código abierto del repositorio lyogavin/airllm en GitHub que reduce la memoria necesaria para ejecutar un modelo de lenguaje: en lugar de cargarlo entero, lo carga capa por capa. La analogía más fácil es una impresora que no guarda el libro completo en memoria: imprime una hoja, la saca y sigue con la siguiente.
Estado de la noticia: está lanzado, no anunciado ni en beta. El README indica que se instala con pip install airllm, y su historial de actualizaciones registra la versión 3.0 de junio de 2026, con soporte para modelos FP8 y DeepSeek-V3. La página de lanzamientos muestra la versión 3.1.0. Lo que sí es de punta y exigente son algunos modelos concretos, como Kimi K3 o Qwen3.8-Flash-Next, que piden versiones específicas de librerías.
Una aclaración de método: en Zadrig Technology no medimos estas cifras nosotros. Todo lo que verás aquí viene del README oficial, de la página de lanzamientos y de pruebas y guías de terceros, y se cita en cada caso.
Qué modelo cabe en cuánta memoria
Según el README de AirLLM, la herramienta permite ejecutar modelos de 70B en una sola tarjeta de 4 GB sin cuantización, destilación ni poda. La tabla junta las cifras que el propio README publica, junto con la condición que acompaña a cada una.
| Modelo | Memoria de video (README) | Condición o dato extra |
|---|---|---|
| Modelos de 70B | 4 GB | Sin cuantización, destilación ni poda |
| DeepSeek-V3 (671B) | Unos 12 GB | Cifra del README |
| Qwen3-235B | Unos 3 GB | Cifra del README |
| Qwen3.8-27B | 3.33 GB | Medido en una RTX 3090; pide transformers 5.8 o superior |
| Qwen3.8-Flash-Next (125B) | 5.95 GB | Medido en una RTX 4090; unos 360 GB de disco para los checkpoints |
| Kimi K3 (2.8T) | 3.72 GB | Medido en una RTX 6000 Ada; 292 segundos por token según la página de lanzamientos |
Por qué caben
Un modelo se calcula capa tras capa, así que AirLLM solo necesita tener en memoria de video la capa que está usando en ese momento. Lo demás espera en disco. Por eso ahorra memoria de video y a la vez depende tanto de la velocidad del disco.
La letra chica del viral de DeepSeek-R1
Los 4 GB del titular viral no corresponden a DeepSeek completo. En el README, esa cifra es la memoria de video para modelos de 70 mil millones de parámetros; la cifra que el README da para DeepSeek-V3, primo de R1, es de unos 12 GB. Y es memoria de video (VRAM), no la RAM de la computadora.
Lo que pide DeepSeek-R1 completo, sin AirLLM
Esas son las cifras que explican por qué muchos terminan pagando nube o una API: armar ese hardware cuesta una fortuna. AirLLM evita esa inversión en memoria, pero no elimina el trabajo: lo traslada al disco y al reloj.
Lo que el README no confirma
El texto del README que revisamos da la cifra de memoria de video para DeepSeek-V3, pero no una cifra propia para DeepSeek-R1. Tampoco confirma cuánto disco ocupa DeepSeek ni cuánto tarda por token. Si alguien te vende «R1 con 4 GB», pídele la medición.
El precio real: tiempo y disco
El costo de AirLLM es el tiempo de espera. En una prueba de Kunal Vohra con una Mac mini de 16 GB, Llama 3.1 8B tardó 19.6 segundos por token, según su publicación. En la página de lanzamientos de AirLLM, Kimi K3 en una RTX 6000 Ada tarda 292 segundos por token.
¿Cuánto tarda una respuesta?
Mueve los valores para ver cuánto tardaría una respuesta completa según los segundos por token de tu equipo.
Es un cálculo de ejemplo. Referencias: 19.6 s por token (Llama 3.1 8B en una Mac mini de 16 GB, prueba de Kunal Vohra) y 292 s por token (Kimi K3 en una RTX 6000 Ada, página de lanzamientos de AirLLM). Tu equipo puede dar otro resultado.
El disco es la otra mitad de la cuenta. El README advierte que, durante la inferencia, el modelo original primero se descompone y se guarda por capas, así que hace falta espacio suficiente en la carpeta de caché de Hugging Face. Para Qwen3.8-Flash-Next, el README habla de unos 360 GB de disco para los checkpoints. La opción delete_original borra el original descargado y, según el README, ahorra la mitad del espacio.
Hay una forma de acelerar. El README describe una compresión opcional de 4 o 8 bits que, según sus autores, puede acelerar la inferencia hasta 3 veces con pérdida de precisión casi ignorable, porque el cuello de botella es la carga desde disco. Es una afirmación del propio proyecto y conviene medirla en tu caso.
Si usas Mac
El README dice que en macOS solo se admiten equipos con Apple silicon y, por ahora, solo modelos tipo Llama (LlamaForCausalLM y MistralForCausalLM). Otras arquitecturas dan error antes de descargar nada. Es decir, en una Mac no vas a correr DeepSeek con AirLLM.
Requisitos que cambian por modelo
Según el README, Kimi K3 exige instalar compressed-tensors y flash-attn, una versión de torch con CUDA 12 y transformers 4.56.x. Qwen3.8-Flash-Next pide una versión de transformers instalada desde el repositorio de GitHub. Un «modelo gigante en tu laptop» suele traer su propia lista de dependencias.
Qué significa para un negocio en México y Latinoamérica
Para una empresa mexicana, AirLLM sirve para experimentar con modelos abiertos y privados sin pagar por token, pero todavía no para atender clientes en tiempo real. Con decenas de segundos por token, una conversación de WhatsApp o un chat de soporte no es viable. Lo que sí encaja son tareas por lotes donde nadie está esperando la respuesta.
Agencias
Probar un modelo abierto con material de un cliente sin enviarlo a una nube. Servirá para borradores o clasificaciones que se dejan corriendo de noche y se revisan a la mañana siguiente.
SaaS
Evaluar si un modelo abierto es suficiente para una función antes de contratar una API. Se mide la calidad en el laptop del equipo; la velocidad de producción se resuelve después.
Soporte
Clasificar o resumir tickets acumulados por lotes. No sirve para responder un chat en vivo, donde cada token de espera lo nota el cliente.
Ecommerce
Generar de noche borradores de descripciones de catálogo con un modelo local, para que una persona los revise. Un chat de ventas en la tienda, no.
Sobre estos escenarios
Son usos que proponemos a partir de las cifras de las fuentes, no casos medidos por Zadrig Technology ni por AirLLM. El criterio es simple: si la respuesta puede esperar, puede probarse; si el cliente está esperando, todavía no.
Cómo probarlo sin perder un fin de semana
Empieza con un modelo chico
Mide primero con un modelo pequeño para conocer los segundos por token de tu equipo antes de intentar uno de 70B o más.
Reserva disco
El modelo se descarga y luego se divide por capas. Revisa el espacio libre de la carpeta de caché de Hugging Face y valora delete_original.
Instala y carga el modelo
Instala la librería y carga el modelo con una sola línea, como muestra el README.
Mide el tiempo
Activa profiling_mode, que según el README muestra el consumo de tiempo, y decide con tus números si la espera tiene sentido para tu tarea.
pip install airllm
from airllm import AutoModel
MAX_LENGTH = 128
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")
input_text = ['What is the capital of United States?']
input_tokens = model.tokenizer(input_text,
return_tensors="pt",
return_attention_mask=False,
truncation=True,
max_length=MAX_LENGTH,
padding=False)
generation_output = model.generate(
input_tokens['input_ids'].to(model.device),
max_new_tokens=20,
use_cache=True,
return_dict_in_generate=True)
print(model.tokenizer.decode(generation_output.sequences[0]))- Verifica que tu modelo sea compatible con tu sistema, sobre todo en Mac.
- Mide los segundos por token antes de prometerle algo a nadie.
- Usa datos de prueba, no información sensible, en tus primeras corridas.
- Compara contra una API solo después de saber cuánto tarda tu equipo.
Preguntas frecuentes
¿Se puede correr DeepSeek-R1 con 4 GB de RAM?
No hay evidencia en las fuentes de que DeepSeek-R1 completo corra en 4 GB. Los 4 GB del README de AirLLM son de memoria de video para modelos de 70 mil millones de parámetros, y para DeepSeek-V3 el README habla de unos 12 GB. Para R1 el README no da una cifra.
¿AirLLM es gratis?
Sí, es una herramienta de código abierto disponible en GitHub que se instala con pip install airllm y no cobra por token como una API. Sí tiene costos propios: el equipo, el espacio en disco y, sobre todo, el tiempo de espera de cada respuesta.
¿Qué tan lento es AirLLM?
Es muy lento comparado con una API. Según Kunal Vohra, Llama 3.1 8B tardó 19.6 segundos por token en una Mac mini de 16 GB, y la página de lanzamientos de AirLLM reporta 292 segundos por token para Kimi K3 en una RTX 6000 Ada.
¿Funciona AirLLM en una Mac?
Sí, pero con límites. El README indica que solo se admite Apple silicon y que, por ahora, solo corren modelos tipo Llama y Mistral; otras arquitecturas dan error antes de descargar nada.
¿Sirve AirLLM para atender clientes por WhatsApp o chat?
No, no con los tiempos medidos en las fuentes. Con decenas de segundos por token, la respuesta a un cliente tardaría minutos. Sirve para experimentar y para tareas por lotes que pueden esperar.
¿Mis datos quedan privados si uso AirLLM?
La inferencia se ejecuta en tu propio equipo, sin enviar tus consultas a la nube de un proveedor. La descarga inicial del modelo sí viene de Hugging Face, según el README, y la privacidad total depende además de cómo configures tu equipo.
Fuentes
- AirLLM (lyogavin), README oficial: tabla de modelos y VRAM, soporte para macOS y DeepSeek V2/V3/R1
- AirLLM, página de lanzamientos (v3.1.0, Kimi K3 en 3.72 GB, 292 s por token en una RTX 6000 Ada)
- Kunal Vohra: prueba de AirLLM en una Mac mini de 16 GB (19.6 s por token con Llama 3.1 8B)
- OpenGPU Radar: guía de memoria de DeepSeek R1 (1,342 GB en FP16, 671 GB en FP8)
- Lyceum Technology: despliegue de DeepSeek R1 (688.6 GB en FP8, 8 GPU H200)
¿Quieres ver qué modelo sí te conviene?
Agenda una demostración con Zadrig Technology y revisamos contigo qué tareas de tu negocio pueden correr con modelos abiertos y cuáles siguen pidiendo una API.
Agenda tu demostración por WhatsApp
