¿Se puede correr Kimi K3 en una laptop con AirLLM? Lo que cuesta de verdad

AirLLM, un proyecto abierto de GitHub, promete correr Kimi K3 con menos de 4 GB de VRAM. Es cierto con matices: se paga en espacio de disco y en segundos por token.

Un modelo de 2.8T de parámetros en un equipo modesto: qué sí, qué no y para qué sirve

GitHub · IA local
AirLLM promete correr Kimi K3 en tu laptop: la letra chica

Cabe en menos de 4 GB de VRAM, pero se paga en disco y en segundos por token. Para qué sí sirve en un negocio mexicano.

IA localCódigo abiertoGitHub

AirLLM, una herramienta abierta de GitHub, dice que puede correr Kimi K3, el modelo de Moonshot AI de 2.8T de parámetros, con menos de 4 GB de VRAM. Es verdad en lo que mide su README, pero la letra chica está en el disco y en la velocidad: cada token tarda segundos.

En resumen

Sí, AirLLM ya está disponible en GitHub con licencia Apache-2.0 y, según su README, corre Kimi K3 (2.8T de parámetros) con 3.72 GB de VRAM medidos en una RTX 6000 Ada. La trampa es el costo: los pesos ocupan 1.56 TB y cada token tarda segundos. Sirve para procesar documentos de noche, no para chatear en tiempo real.

  • Estado: lanzado, código abierto, licencia Apache-2.0.
  • Kimi K3: 3.72 GB de VRAM medidos, 1.56 TB de pesos.
  • En Mac con chip Apple, el README no documenta Kimi K3.
  • Uso ideal: trabajos por lote y datos privados.

Qué es AirLLM y en qué punto está

AirLLM es un proyecto de código abierto del repositorio lyogavin/airllm en GitHub que reduce la memoria necesaria para ejecutar modelos de lenguaje grandes. Según su README, permite correr modelos de 70B parámetros en una sola GPU de 4 GB, sin cuantización, destilación ni poda.

La noticia está lanzada, no solo anunciada: el código se puede instalar con pip install airllm. El README lista la versión 3.0 de junio de 2026 y el soporte para Kimi K3 en su actualización de julio de 2026. Al consultar la página, el repositorio tenía 42.6k estrellas, 4.4k forks y 113 incidencias abiertas. El README no lo etiqueta como beta.

Lanzado no significa fácil

Que AirLLM esté disponible no quiere decir que Kimi K3 corra con un solo comando. El propio README pide para ese modelo paquetes y versiones específicas, y lo midió en una tarjeta profesional, no en una de 4 GB.

Cómo corre un modelo gigante en 4 GB

AirLLM no mete el modelo completo en la GPU: lo deja en disco y carga solo la capa que toca en cada momento. Es como imprimir un libro hoja por hoja en lugar de tener todas las páginas sobre el escritorio.

Se divide el modelo en capas

La primera vez, AirLLM descompone el modelo original y lo guarda capa por capa. El README advierte que el caché de Hugging Face necesita espacio suficiente.

→

Se carga una capa a la vez

La GPU solo trabaja con la capa en curso, así que la memoria de video necesaria es pequeña. El README menciona también una opción de prefetching para traslapar la carga con el cálculo.

→

Kimi K3 carga solo los expertos que usa

Para este modelo, el README indica que el streaming por experto carga solo los expertos a los que un token realmente se dirige.

Kimi K3: lo que dice el README y lo que no

El README presenta a Kimi K3 (2.8T) como el modelo abierto más grande publicado hasta ahora y dice que corre en menos de 4 GB, con 3.72 GB de VRAM medidos de punta a punta en una RTX 6000 Ada. Ese dato es de VRAM, no de laptop ni de disco.

DatoQué dice la fuenteDónde
Tamaño de Kimi K32.8T de parámetros; pesos publicados de 1.56 TBFicha de Moonshot AI y Simon Willison
VRAM con AirLLM3.72 GB medidos en una RTX 6000 AdaREADME de AirLLM
Software extracompressed-tensors, flash-attn, torch con CUDA 12 y transformers 4.56.xREADME de AirLLM
Otros modelosDeepSeek-V3 (671B) en unos 12 GB; Qwen3.8-Flash-Next (125B) en 6 GBREADME de AirLLM
Mac con chip AppleSolo Apple silicon y solo modelos tipo Llama y Mistral; K3 no figuraREADME de AirLLM
VelocidadSin cifra oficial; usuarios reportan segundos por tokenTech Centurion

El video se pasó con la Mac

En el video dijimos que las Mac con chip Apple también entran. Es cierto para AirLLM en general, pero el README solo documenta en macOS modelos de estilo Llama (LlamaForCausalLM y MistralForCausalLM) y otras arquitecturas dan error. Kimi K3 no aparece en esa lista, y sus requisitos (CUDA 12 y flash-attn) apuntan a una GPU NVIDIA. No está confirmado que corra en una Mac.

Sobre la licencia, la ficha oficial de Kimi K3 en Hugging Face indica una licencia propia de Moonshot AI. Revisa sus términos antes de usar el modelo en un producto comercial; aquí no analizamos su texto.

La letra chica: velocidad y disco

El precio de correr un modelo enorme en un equipo modesto es tiempo: cada token, que es un fragmento de palabra, tarda segundos. Según las mediciones de usuarios que recoge Tech Centurion con 4 GB de VRAM, la velocidad es de ese orden. El README no publica una cifra oficial para Kimi K3.

En el video hablamos de 10 a 30 segundos por token y de minutos por respuesta. Tómalo como orden de magnitud de reportes de usuarios, no como medición oficial. Tampoco hay un tiempo fijo por respuesta: depende de cuántos tokens escriba el modelo. Una respuesta larga tardará mucho más que una corta.

El otro costo es el disco. Los pesos de Kimi K3 son 1.56 TB, según Simon Willison, y el README aclara que AirLLM guarda además una copia dividida por capas. La opción delete_original borra los archivos originales y, según el README, ahorra cerca de la mitad del espacio. El README no da la cifra total de disco para Kimi K3; para Qwen3.8-Flash-Next sí menciona unos 360 GB.

El programa es gratis; tu tiempo y tu disco, no

AirLLM no cobra licencia (Apache-2.0), pero un lote nocturno que no termina antes de la mañana también es un costo. El README tampoco confirma cuánta memoria RAM necesita Kimi K3. Prueba con tu propio equipo antes de prometerle plazos a un cliente.

Cuánto tardaría tu lote

Mueve los valores para estimar cuántas horas tomaría un lote de documentos si tu equipo genera un token cada cierto número de segundos.

Horas totales del lote6.9 horas
Minutos por documento8.3 min

Los valores iniciales son de ejemplo, no mediciones. La fórmula es una multiplicación simple y no incluye el tiempo de leer el documento ni de cargar capas. Mide la velocidad real de tu equipo.

Para qué sirve en México y Latinoamérica

Una herramienta lenta pero privada encaja en trabajos que no necesitan respuesta inmediata y que manejan datos que no quieres enviar a una API. Con AirLLM los datos se procesan en tu propio equipo; el modelo se descarga una vez. Estos son usos que encajan con ese perfil para empresas de la región.

Agencias

Clasificar de noche briefs, contratos y entregables de clientes por tema o urgencia, con documentos que no deben salir a un tercero.

SaaS

Etiquetar tickets viejos, comentarios de usuarios y notas de producto por categoría para armar el reporte de la semana.

Soporte

Ordenar conversaciones archivadas por motivo de contacto para detectar patrones. No sirve como asistente que responde al cliente en vivo.

Ecommerce

Categorizar reseñas, devoluciones y descripciones de catálogo por lote, sin prisa y con datos de clientes que se quedan en casa.

Ejemplo con números supuestos: clasificar 50 documentos

Documentos del lote50
Respuesta por documento100 tokens
Velocidad supuesta (de ejemplo)5 segundos por token
Tiempo total estimadounas 6.9 horas

Son cifras de ejemplo para entender la escala, no mediciones de AirLLM. A esa velocidad, el lote arranca al cerrar la oficina y termina antes de la mañana. Un chat con un cliente, con esa misma velocidad, tomaría minutos por respuesta.

Antes de probarlo

  • Si vas por Kimi K3, confirma que tienes una GPU NVIDIA y torch con CUDA 12.
  • Revisa el espacio libre: pesos originales más la copia por capas, o usa delete_original.
  • Empieza con un modelo chico de los ejemplos del README antes de ir al gigante.
  • Activa profiling_mode para medir los segundos por token en tu equipo.
  • Lee la licencia propia de Moonshot AI antes de usar el modelo en un producto.
Prueba mínima basada en el README
pip install airllm

from airllm import AutoModel

# Modelo de ejemplo del README; mide tiempos con profiling_mode
model = AutoModel.from_pretrained(
    "Qwen/Qwen3-32B",
    profiling_mode=True,
)

Preguntas frecuentes

¿Se puede correr Kimi K3 en una laptop con 4 GB de GPU?

No está confirmado en una laptop. El README dice que Kimi K3 usa menos de 4 GB de VRAM, pero lo midió en una RTX 6000 Ada (3.72 GB). Además requieren 1.56 TB de pesos y una copia por capas, CUDA 12 y flash-attn.

¿AirLLM es gratis?

Sí, el código es gratuito con licencia Apache-2.0. Lo que no es gratis es el tiempo de ejecución y el espacio en disco. Kimi K3 además tiene una licencia propia de Moonshot AI que debes revisar.

¿AirLLM funciona en Mac con chip Apple?

Sí para modelos de estilo Llama y Mistral, solo en Apple silicon. Para Kimi K3 no está documentado: el README dice que otras arquitecturas dan error en macOS y pide CUDA 12 para K3.

¿Sirve para un chatbot de atención al cliente?

No, no sirve para conversar en tiempo real. Cada token tarda segundos según usuarios, así que una respuesta puede tardar minutos. Es mejor para tareas por lote, como clasificar documentos de noche.

¿Qué diferencia hay entre AirLLM y usar una API de IA?

Con AirLLM tus datos se procesan en tu equipo, pero pagas en tiempo y disco. Con una API pagas al proveedor y tus datos salen a sus servidores. No comparamos precios porque las fuentes no traen cifras de API.

¿AirLLM está en beta o ya está lanzado?

Está lanzado. El README lista la versión 3.0 de junio de 2026 y el soporte para Kimi K3 desde julio de 2026, sin etiquetarlo como beta. Eso sí, Kimi K3 exige versiones específicas de varios paquetes.

Fuentes

¿Quieres ver si una IA local te sirve?

Agenda una demostración con Zadrig Technology y revisamos contigo qué procesos de tu negocio pueden correr por lote y con datos privados, y cuáles necesitan respuesta inmediata.

Escríbenos por WhatsApp
WhatsApp +52 81 4641 5229

Leave A Comment