¿Cuánto cuesta realmente el armazón de un agente de código para programar?
Un estudio de arXiv comparó Claude Code, OpenCode y mini-SWE-agent con cinco modelos en casi 500 tareas reales de programación: el resultado casi no cambia, pero el costo por tarea puede ser hasta 3 veces mayor.
Por qué más instrucciones no siempre significan mejores resultados en tus agentes de código
Un estudio de arXiv probó Claude Code, OpenCode y mini-SWE-agent con 5 modelos en 447 tareas reales: el resultado casi no cambia, pero el gasto puede ser hasta 3 veces mayor.
Un estudio académico de arXiv puso a prueba algo que muchos negocios que ya usan agentes de código dan por hecho: que un armazón (harness) más completo, con más instrucciones y herramientas, resuelve mejor las tareas de programación. La respuesta, después de probar tres armazones con cinco modelos en casi 500 tareas reales, es que no: el resultado casi no cambia, pero la factura sí, hasta tres veces más.
En resumen
El estudio de arXiv 'What Does a Harness Buy? Tokens, Mostly' (3 de octubre de 2026) probó tres armazones de agentes de código —Claude Code, OpenCode y mini-SWE-agent— con cinco modelos en casi 500 tareas reales. Claude Code y mini-SWE-agent resolvieron casi lo mismo, con solo 5 puntos de diferencia, pero el armazón más complejo costó hasta 3 veces más por tarea.
- Claude Code y mini-SWE-agent resolvieron casi lo mismo (5 puntos de diferencia).
- El armazón más complejo costó hasta 3 veces más por tarea.
- La causa es el tamaño del mensaje inicial, no más herramientas.
¿Qué es el armazón de un agente de código?
Un agente de código no es solo el modelo de lenguaje (como Claude). Es ese modelo envuelto en un armazón, lo que en inglés se llama harness: el system prompt que le da instrucciones, el conjunto de herramientas que puede usar (leer archivos, ejecutar comandos, buscar en el repositorio) y la forma en que administra el contexto de la conversación. Claude Code, Cursor, OpenCode y mini-SWE-agent son ejemplos de armazones distintos que pueden correr sobre el mismo modelo.
Los proveedores de estos armazones publican actualizaciones todos los días y presumen mejoras en las tasas de acierto cada vez que cambian el armazón. Lo que señala el estudio de arXiv es que casi nadie mide cuánto mueve el marcador el armazón por sí solo, cuando el modelo se mantiene fijo.
Qué midió el estudio de arXiv
El estudio, titulado “What Does a Harness Buy? Tokens, Mostly” (arXiv:2610.04433), fue publicado el 3 de octubre de 2026 por los investigadores Yangze Liu y Zhongyi Han. Corrieron cinco modelos distintos sobre tres armazones de producción —Claude Code, mini-SWE-agent y OpenCode— en SWE-bench Verified, un banco de pruebas con tareas reales de programación. Para separar el efecto del armazón del simple ruido de ejecutar algo dos veces, también repitieron las mismas configuraciones y midieron cuánto cambia el puntaje sin tocar nada.
Lo que encontró el estudio, en números
Los datos vienen del estudio 'What Does a Harness Buy? Tokens, Mostly', publicado en arXiv el 3 de octubre de 2026.
Los resultados: mismo desempeño, hasta 3 veces más caro
Sobre 447 tareas, Claude Code (el armazón más pesado) y mini-SWE-agent (el más ligero) resolvieron prácticamente lo mismo: la diferencia fue de apenas 5 puntos. En un subconjunto de 45 tareas difíciles con cinco modelos, cambiar de armazón volteó el resultado de tantas tareas como simplemente repetir la misma corrida sin cambiar nada: 13% en ambos casos. El único efecto de armazón que sí se nota con claridad fue una pérdida, no una ganancia: OpenCode quedó hasta 9 puntos por debajo en el conjunto grande de tareas, y en uno de los modelos, la mitad de esa diferencia se debió a que el límite de salida del armazón cortó respuestas antes de tiempo.
| Armazón | Tipo de armazón | Resultado en SWE-bench Verified | Costo por tarea |
|---|---|---|---|
| Claude Code | El más pesado (más instrucciones y herramientas) | Equivalente a mini-SWE-agent (diferencia de 5 puntos) | Hasta 3 veces más caro que el más ligero |
| mini-SWE-agent | El más ligero | Equivalente a Claude Code (diferencia de 5 puntos) | El más económico de los tres |
| OpenCode | Intermedio | Hasta 9 puntos por debajo en el conjunto grande de tareas | No se detalla una cifra exacta; parte de la brecha viene de un límite de salida que cortó respuestas |
Cuidado con las comparaciones de armazones en benchmarks
El propio estudio advierte que, en el subconjunto de 45 tareas difíciles, cambiar de armazón volteó tantas tareas (13%) como simplemente repetir la misma corrida sin cambiar nada (13% también). Con esa variación, un lote de 45 tareas detecta una brecha real de 13 puntos solo la mitad de las veces. Las 447 tareas del estudio resuelven diferencias de hasta 5 puntos, que sigue siendo más grueso que muchas de las mejoras que los fabricantes de armazones anuncian.
Por qué sube el costo si el resultado es igual
Lo que sí cambió de forma consistente fue la factura. Con el mismo modelo, las mismas tareas y una sola lista de precios, el costo por tarea llegó a ser hasta 3 veces mayor según el armazón usado.
La causa no es más razonamiento, es el mensaje inicial
Según el estudio, la brecha de costo se fija en la primera llamada: el preámbulo de system prompt y esquemas de herramientas que cada armazón envía en cada paso, multiplicado por el número de pasos. El crecimiento por paso y la salida de las herramientas varían mucho menos.
El precio que cobra el proveedor por el contexto en caché (cached input) escala el total de la factura, pero no cambia el orden entre armazones: el que ya era más caro sigue siendo el más caro, nada más que a otra escala.
Simulador del efecto del armazón en tu factura
Ajusta tus tareas de código al mes y un costo de ejemplo por tarea para ver, de forma ilustrativa, qué tan grande puede ser la diferencia entre un armazón ligero y uno hasta 3 veces más caro.
Estas cifras son solo un ejemplo ilustrativo para ver el efecto del multiplicador de hasta 3 veces que reporta el estudio de arXiv; no son precios reales de ningún proveedor.
En qué punto está esta investigación
Esto es, por ahora, un estudio académico publicado en arXiv, no un producto, una actualización de Claude Code ni una herramienta de medición que puedas instalar hoy. El medio especializado VentureBeat confirmó el hallazgo esta misma semana y citó un estudio similar hecho en Berkeley que encontró el mismo patrón: armazones más complejos no garantizan mejores resultados, pero sí facturas más altas. Si tu negocio ya usa Claude Code, Cursor u otro agente de código, la recomendación práctica no depende de que alguien lance un producto nuevo: puedes aplicar la lógica del estudio revisando cómo mides el costo de tus propias tareas hoy mismo.
Qué significa para negocios en México y Latinoamérica
Para agencias de desarrollo, equipos de producto en SaaS y negocios de ecommerce en México y Latinoamérica que ya pagan por tokens de agentes de IA para programar, la lección es directa: pagar por un armazón más sofisticado no es garantía de que el agente resuelva más tickets, tareas o funciones. Una agencia que construye software a la medida para clientes y cobra por proyecto puede estar absorbiendo hasta 3 veces más gasto en tokens sin que el cliente note una sola mejora en la entrega. Un equipo de soporte técnico que usa un agente de código para generar parches o scripts internos debería comparar el costo por tarea resuelta entre configuraciones antes de estandarizar una sola, en lugar de asumir que la opción con más instrucciones es la más segura. Una tienda en línea que mantiene su catálogo o integra pagos con ayuda de agentes de codificación paga esa diferencia mes tras mes si nadie la mide.
Cómo medir el costo por tarea antes de elegir armazón
Si tu negocio ya paga por agentes de código, aquí tienes una forma simple de aplicar lo que midió el estudio, sin necesitar el mismo rigor estadístico de un paper académico.
Fija el modelo
Antes de comparar armazones, usa el mismo modelo de lenguaje en todas las pruebas. El estudio muestra que mezclar modelo y armazón en la comparación esconde de dónde viene realmente la diferencia.
Corre las mismas tareas más de una vez
El estudio encontró que repetir la misma configuración, sin cambiar nada, ya mueve el resultado un 13% en tareas difíciles. Sin ese punto de referencia, no sabes si una mejora es real o es ruido.
Registra el costo por tarea, no solo el resultado
Anota cuánto cuesta cada tarea resuelta con cada armazón, bajo la misma lista de precios. Según el estudio, ahí aparece la diferencia real: hasta 3 veces más cara con el armazón más pesado.
Revisa el tamaño del mensaje inicial
El preámbulo de system prompt y el esquema de herramientas que el armazón manda en cada paso es, según el estudio, lo que más infla la factura, no el razonamiento adicional.
¿Qué es el 'armazón' (harness) de un agente de código?
Es el conjunto de reglas que envuelve a un modelo de lenguaje para que pueda trabajar dentro de un repositorio: el system prompt, las herramientas que puede usar y la forma en que administra el contexto. Según el estudio de arXiv, ese armazón es lo que convierte un modelo de chat en un agente capaz de programar.
¿Un armazón más complejo como Claude Code programa mejor que uno simple?
No necesariamente. El estudio encontró que Claude Code (el armazón más pesado) y mini-SWE-agent (el más ligero) resolvieron prácticamente las mismas tareas en SWE-bench Verified, con solo 5 puntos de diferencia sobre 447 tareas.
¿Por qué sube el costo si el resultado es el mismo?
Porque cada armazón envía un mensaje inicial distinto, con el system prompt y el esquema de herramientas, en cada paso, y ese tamaño se multiplica por el número de pasos. Según el estudio, ahí está la diferencia de hasta 3 veces en el costo por tarea, no en más razonamiento ni más herramientas.
¿Ya puedo usar los resultados de este estudio en mi empresa?
Lo que existe hoy es el estudio académico publicado en arXiv el 3 de octubre de 2026, no un producto ni una herramienta de medición lista para usar. Es una señal para revisar cómo se configuran los agentes de código que ya usa tu negocio, no un lanzamiento que debas instalar.
¿Qué armazones compararon en el estudio?
El estudio comparó Claude Code, OpenCode y mini-SWE-agent, corridos con cinco modelos distintos sobre tareas de SWE-bench Verified. OpenCode, además, quedó hasta 9 puntos por debajo de los otros dos en el conjunto grande de tareas.
Fuentes
Agenda una demostración con Zadrig Technology
Te mostramos cómo configurar agentes de código como Claude Code sin pagar de más por un armazón que no mejora tus resultados.
Escríbenos por WhatsApp
