AirLLM y DeepSeek en una laptop: lo que sí cumple y lo que no

AirLLM, herramienta de código abierto en GitHub, corre modelos enormes capa por capa con poca memoria de video. La promesa es cierta solo a medias: ahorra memoria, pero cobra en tiempo y en disco.

Qué dice el README, qué miden las pruebas y para qué le sirve a un negocio mexicano

GitHub · Código abierto
AirLLM: IA gigante en tu laptop, pero con letra chica

Sí cabe en poca memoria de video. Lo que no dice el titular viral es cuánto tarda y cuánto disco pide.

AirLLMDeepSeek

Un video viral prometía correr DeepSeek-R1 con 4 GB de RAM. La herramienta detrás se llama AirLLM, es de código abierto y está publicada en GitHub. Hace algo real e interesante, pero la letra chica cambia la conclusión: los modelos enormes sí caben en poca memoria de video, y el precio se paga en tiempo y en espacio en disco.

En resumen

AirLLM es una herramienta de código abierto, ya publicada en GitHub, que carga los modelos capa por capa. Según su README oficial, DeepSeek-V3 (671 mil millones de parámetros) cabe en unos 12 GB de memoria de video y un modelo de 70B en 4 GB. El costo es tiempo: 19.6 segundos por token en una Mac mini con un modelo de 8B. Sirve para experimentar, no para atender clientes.

  • Los 4 GB del README son de memoria de video y para modelos de 70B.
  • DeepSeek-V3 pide unos 12 GB según el README; para R1 no hay cifra ahí.
  • En Mac solo corren modelos tipo Llama y Mistral.
  • Sirve para pruebas privadas y por lotes, no para chat en vivo.

Qué es AirLLM y en qué punto está

AirLLM es una librería de código abierto del repositorio lyogavin/airllm en GitHub que reduce la memoria necesaria para ejecutar un modelo de lenguaje: en lugar de cargarlo entero, lo carga capa por capa. La analogía más fácil es una impresora que no guarda el libro completo en memoria: imprime una hoja, la saca y sigue con la siguiente.

Estado de la noticia: está lanzado, no anunciado ni en beta. El README indica que se instala con pip install airllm, y su historial de actualizaciones registra la versión 3.0 de junio de 2026, con soporte para modelos FP8 y DeepSeek-V3. La página de lanzamientos muestra la versión 3.1.0. Lo que sí es de punta y exigente son algunos modelos concretos, como Kimi K3 o Qwen3.8-Flash-Next, que piden versiones específicas de librerías.

Una aclaración de método: en Zadrig Technology no medimos estas cifras nosotros. Todo lo que verás aquí viene del README oficial, de la página de lanzamientos y de pruebas y guías de terceros, y se cita en cada caso.

Qué modelo cabe en cuánta memoria

Según el README de AirLLM, la herramienta permite ejecutar modelos de 70B en una sola tarjeta de 4 GB sin cuantización, destilación ni poda. La tabla junta las cifras que el propio README publica, junto con la condición que acompaña a cada una.

ModeloMemoria de video (README)Condición o dato extra
Modelos de 70B4 GBSin cuantización, destilación ni poda
DeepSeek-V3 (671B)Unos 12 GBCifra del README
Qwen3-235BUnos 3 GBCifra del README
Qwen3.8-27B3.33 GBMedido en una RTX 3090; pide transformers 5.8 o superior
Qwen3.8-Flash-Next (125B)5.95 GBMedido en una RTX 4090; unos 360 GB de disco para los checkpoints
Kimi K3 (2.8T)3.72 GBMedido en una RTX 6000 Ada; 292 segundos por token según la página de lanzamientos

Por qué caben

Un modelo se calcula capa tras capa, así que AirLLM solo necesita tener en memoria de video la capa que está usando en ese momento. Lo demás espera en disco. Por eso ahorra memoria de video y a la vez depende tanto de la velocidad del disco.

La letra chica del viral de DeepSeek-R1

Los 4 GB del titular viral no corresponden a DeepSeek completo. En el README, esa cifra es la memoria de video para modelos de 70 mil millones de parámetros; la cifra que el README da para DeepSeek-V3, primo de R1, es de unos 12 GB. Y es memoria de video (VRAM), no la RAM de la computadora.

Lo que pide DeepSeek-R1 completo, sin AirLLM

Parámetros671 mil millones
Memoria en FP161,342 GB (OpenGPU Radar)
Memoria en FP8671 GB (OpenGPU Radar)
Despliegue en la nube688.6 GB en FP8 con 8 GPU H200 (Lyceum Technology)

Esas son las cifras que explican por qué muchos terminan pagando nube o una API: armar ese hardware cuesta una fortuna. AirLLM evita esa inversión en memoria, pero no elimina el trabajo: lo traslada al disco y al reloj.

Lo que el README no confirma

El texto del README que revisamos da la cifra de memoria de video para DeepSeek-V3, pero no una cifra propia para DeepSeek-R1. Tampoco confirma cuánto disco ocupa DeepSeek ni cuánto tarda por token. Si alguien te vende «R1 con 4 GB», pídele la medición.

El precio real: tiempo y disco

El costo de AirLLM es el tiempo de espera. En una prueba de Kunal Vohra con una Mac mini de 16 GB, Llama 3.1 8B tardó 19.6 segundos por token, según su publicación. En la página de lanzamientos de AirLLM, Kimi K3 en una RTX 6000 Ada tarda 292 segundos por token.

¿Cuánto tarda una respuesta?

Mueve los valores para ver cuánto tardaría una respuesta completa según los segundos por token de tu equipo.

Tiempo total33.3 minutos
Tiempo total en horas0.56 horas

Es un cálculo de ejemplo. Referencias: 19.6 s por token (Llama 3.1 8B en una Mac mini de 16 GB, prueba de Kunal Vohra) y 292 s por token (Kimi K3 en una RTX 6000 Ada, página de lanzamientos de AirLLM). Tu equipo puede dar otro resultado.

El disco es la otra mitad de la cuenta. El README advierte que, durante la inferencia, el modelo original primero se descompone y se guarda por capas, así que hace falta espacio suficiente en la carpeta de caché de Hugging Face. Para Qwen3.8-Flash-Next, el README habla de unos 360 GB de disco para los checkpoints. La opción delete_original borra el original descargado y, según el README, ahorra la mitad del espacio.

Hay una forma de acelerar. El README describe una compresión opcional de 4 o 8 bits que, según sus autores, puede acelerar la inferencia hasta 3 veces con pérdida de precisión casi ignorable, porque el cuello de botella es la carga desde disco. Es una afirmación del propio proyecto y conviene medirla en tu caso.

Si usas Mac

El README dice que en macOS solo se admiten equipos con Apple silicon y, por ahora, solo modelos tipo Llama (LlamaForCausalLM y MistralForCausalLM). Otras arquitecturas dan error antes de descargar nada. Es decir, en una Mac no vas a correr DeepSeek con AirLLM.

Requisitos que cambian por modelo

Según el README, Kimi K3 exige instalar compressed-tensors y flash-attn, una versión de torch con CUDA 12 y transformers 4.56.x. Qwen3.8-Flash-Next pide una versión de transformers instalada desde el repositorio de GitHub. Un «modelo gigante en tu laptop» suele traer su propia lista de dependencias.

Qué significa para un negocio en México y Latinoamérica

Para una empresa mexicana, AirLLM sirve para experimentar con modelos abiertos y privados sin pagar por token, pero todavía no para atender clientes en tiempo real. Con decenas de segundos por token, una conversación de WhatsApp o un chat de soporte no es viable. Lo que sí encaja son tareas por lotes donde nadie está esperando la respuesta.

Agencias

Probar un modelo abierto con material de un cliente sin enviarlo a una nube. Servirá para borradores o clasificaciones que se dejan corriendo de noche y se revisan a la mañana siguiente.

SaaS

Evaluar si un modelo abierto es suficiente para una función antes de contratar una API. Se mide la calidad en el laptop del equipo; la velocidad de producción se resuelve después.

Soporte

Clasificar o resumir tickets acumulados por lotes. No sirve para responder un chat en vivo, donde cada token de espera lo nota el cliente.

Ecommerce

Generar de noche borradores de descripciones de catálogo con un modelo local, para que una persona los revise. Un chat de ventas en la tienda, no.

Sobre estos escenarios

Son usos que proponemos a partir de las cifras de las fuentes, no casos medidos por Zadrig Technology ni por AirLLM. El criterio es simple: si la respuesta puede esperar, puede probarse; si el cliente está esperando, todavía no.

Cómo probarlo sin perder un fin de semana

1

Empieza con un modelo chico

Mide primero con un modelo pequeño para conocer los segundos por token de tu equipo antes de intentar uno de 70B o más.

2

Reserva disco

El modelo se descarga y luego se divide por capas. Revisa el espacio libre de la carpeta de caché de Hugging Face y valora delete_original.

3

Instala y carga el modelo

Instala la librería y carga el modelo con una sola línea, como muestra el README.

4

Mide el tiempo

Activa profiling_mode, que según el README muestra el consumo de tiempo, y decide con tus números si la espera tiene sentido para tu tarea.

Ejemplo básico del README (con un modelo de 32B)
pip install airllm

from airllm import AutoModel

MAX_LENGTH = 128
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

input_text = ['What is the capital of United States?']

input_tokens = model.tokenizer(input_text,
    return_tensors="pt",
    return_attention_mask=False,
    truncation=True,
    max_length=MAX_LENGTH,
    padding=False)

generation_output = model.generate(
    input_tokens['input_ids'].to(model.device),
    max_new_tokens=20,
    use_cache=True,
    return_dict_in_generate=True)

print(model.tokenizer.decode(generation_output.sequences[0]))
  • Verifica que tu modelo sea compatible con tu sistema, sobre todo en Mac.
  • Mide los segundos por token antes de prometerle algo a nadie.
  • Usa datos de prueba, no información sensible, en tus primeras corridas.
  • Compara contra una API solo después de saber cuánto tarda tu equipo.

Preguntas frecuentes

¿Se puede correr DeepSeek-R1 con 4 GB de RAM?

No hay evidencia en las fuentes de que DeepSeek-R1 completo corra en 4 GB. Los 4 GB del README de AirLLM son de memoria de video para modelos de 70 mil millones de parámetros, y para DeepSeek-V3 el README habla de unos 12 GB. Para R1 el README no da una cifra.

¿AirLLM es gratis?

Sí, es una herramienta de código abierto disponible en GitHub que se instala con pip install airllm y no cobra por token como una API. Sí tiene costos propios: el equipo, el espacio en disco y, sobre todo, el tiempo de espera de cada respuesta.

¿Qué tan lento es AirLLM?

Es muy lento comparado con una API. Según Kunal Vohra, Llama 3.1 8B tardó 19.6 segundos por token en una Mac mini de 16 GB, y la página de lanzamientos de AirLLM reporta 292 segundos por token para Kimi K3 en una RTX 6000 Ada.

¿Funciona AirLLM en una Mac?

Sí, pero con límites. El README indica que solo se admite Apple silicon y que, por ahora, solo corren modelos tipo Llama y Mistral; otras arquitecturas dan error antes de descargar nada.

¿Sirve AirLLM para atender clientes por WhatsApp o chat?

No, no con los tiempos medidos en las fuentes. Con decenas de segundos por token, la respuesta a un cliente tardaría minutos. Sirve para experimentar y para tareas por lotes que pueden esperar.

¿Mis datos quedan privados si uso AirLLM?

La inferencia se ejecuta en tu propio equipo, sin enviar tus consultas a la nube de un proveedor. La descarga inicial del modelo sí viene de Hugging Face, según el README, y la privacidad total depende además de cómo configures tu equipo.

¿Quieres ver qué modelo sí te conviene?

Agenda una demostración con Zadrig Technology y revisamos contigo qué tareas de tu negocio pueden correr con modelos abiertos y cuáles siguen pidiendo una API.

Agenda tu demostración por WhatsApp
WhatsApp +52 81 4641 5229

Leave A Comment