¿Qué es Tracely y cómo evita que un agente de IA repita el mismo error?
Un fallo real de tu agente de IA se puede convertir en una prueba que bloquea el próximo despliegue si el mismo error vuelve a aparecer. Así lo resuelve Tracely, un proyecto de código abierto que ya suma miles de estrellas en GitHub.
Cómo convierte un fallo real en una prueba de regresión y qué significa para negocios que ya operan con agentes de IA
En 13 días sumó 1,163 estrellas en GitHub: así congela un fallo real en una prueba que bloquea el próximo despliegue.
Un agente de IA falla con un cliente, el equipo lo arregla a mano y, semanas después, el mismo error vuelve a aparecer con otro cliente. Ese ciclo es justo lo que ataca Tracely, un proyecto de código abierto publicado en GitHub que convierte la traza de un fallo real en una prueba que corre en cada actualización y puede bloquear el despliegue si el error reaparece.
En resumen
Tracely es un proyecto de código abierto en GitHub que convierte la traza de un fallo real de un agente de IA en una prueba de regresión que bloquea el pull request si el error reaparece. En 13 días sumó 1,163 estrellas y 140 bifurcaciones. Ya se puede instalar hoy, pero su SDK sigue en la versión 0.0.1: es una herramienta joven.
- 1,163 estrellas y 140 bifurcaciones en 13 días en GitHub
- Bloquea el pull request si el fallo ya visto reaparece
- Autoalojable con Docker; SDK todavía en versión 0.0.1
¿Qué es Tracely?
Tracely es un proyecto de código abierto alojado en el repositorio jwuthri-cloud/Tracely-ai en GitHub. Según su propia descripción, ofrece CI/CD nativo de trazas para agentes de IA: califica cada corrida de un agente en producción, agrupa los fallos parecidos en un mismo problema, los congela en pruebas de regresión repetibles y bloquea el pull request que volvería a mandar ese mismo error a producción. El proyecto se publica bajo licencia MIT y se puede autoalojar completo —API, worker, interfaz, Postgres, ClickHouse, Redis y MinIO— con un solo comando, según su documentación en GitHub.
Cómo convierte un fallo en una prueba que bloquea un PR
El propio proyecto describe su proceso en cinco pasos —observar, detectar, convertir en prueba, bloquear en CI y avisar—, pero la parte que más le importa a un negocio que ya usa agentes de IA se resume en tres momentos.
Detecta el fallo
Cada corrida del agente llega al sistema y se evalúa con revisores automáticos —reglas sin modelo y jueces de IA— que marcan si algo salió mal, según la documentación del proyecto.
Lo congela en una prueba
Con un clic, la traza del fallo se convierte en un caso reproducible que guarda la entrada exacta, las llamadas a herramientas y las respuestas del modelo que ya fallaron. La fuente aclara que el caso debe fallar con el código viejo y pasar con el arreglo, o la promoción no se acepta.
Bloquea el pull request
La prueba se repite en cada actualización contra esos datos ya grabados, sin llamadas en vivo al modelo. Si el mismo error reaparece, el comando tracely gate termina con error, publica un estado en el commit y comenta el pull request, según la documentación en GitHub.
Por qué no hace falta inventar un set de pruebas
A diferencia de las herramientas de evaluación que piden escribir preguntas y respuestas ideales a mano, Tracely usa la corrida real que ya falló como prueba. Según su documentación, eso le da fidelidad exacta a producción y hace que repetirla en CI/CD no cueste llamadas al modelo.
| Aspecto | Herramientas con dataset manual | Tracely |
|---|---|---|
| De dónde salen las pruebas | Se escriben a mano | Se crean a partir de fallos reales |
| Fidelidad a producción | Una suposición | La corrida exacta que falló |
| Costo de repetirla en CI | Llamadas al modelo en vivo | $0, con datos ya grabados |
| Qué pasa si falla de nuevo | Un número se mueve en un panel | Se bloquea el pull request |
Qué tan rápido está creciendo en GitHub
Tracely se destacó esta semana como uno de los proyectos de código abierto que más rápido crecieron en GitHub, según el análisis publicado por Explainx. En 13 días, el repositorio sumó 1,163 estrellas y 140 bifurcaciones (forks).
Así luce el repositorio en GitHub
Las cifras de estrellas y bifurcaciones corresponden al periodo de 13 días que analizó Explainx; los demás datos —pull requests, commits y licencia— aparecen en la página del repositorio en GitHub.
En qué punto está: disponible, pero joven
Es un proyecto joven, no una plataforma madura
Tracely ya se puede usar: el código está público en GitHub y se autoaloja con Docker junto con Postgres, ClickHouse, Redis y MinIO. Pero sigue en desarrollo activo —el repositorio tiene apenas 19 commits y su SDK está en la versión 0.0.1, según su propia documentación—. En las fuentes no aparece un anuncio de versión 1.0, un plan de precios ni un servicio alojado por el propio proyecto: hoy, adoptarlo significa correrlo en tu propia infraestructura.
Por qué importa para un negocio con agentes de IA
La prueba de fuego de un agente de IA no es la demo que funciona en el panel de pruebas, es impedir que el mismo error vuelva a producción con otro cliente. Un fallo que no queda registrado ni corregido de fondo no se queda aislado: tiende a repetirse, y cada vez que se repite cuesta más tiempo del equipo, confianza del cliente y, en el peor caso, el negocio de ese cliente.
El costo de no guardar el fallo
Sin una prueba que lo congele, el mismo error queda a merced de que alguien lo note otra vez en un panel y lo repare a mano, cada vez con un cliente distinto.
Qué significa para México y Latinoamérica
Para una empresa en México o Latinoamérica que ya automatiza con agentes de IA, este enfoque aplica directo a cualquier flujo donde un agente conversa, cotiza, filtra tickets o arma un pedido por su cuenta.
- Una agencia que atiende varias cuentas con el mismo agente de soporte evita que un error corregido para un cliente reaparezca con otro.
- Un SaaS que vende su propio agente de IA a distintos usuarios puede bloquear una actualización antes de que llegue con el mismo defecto a producción.
- Un equipo de soporte que usa un agente para resolver tickets guarda cada fallo real como prueba, en lugar de depender de que alguien lo note de nuevo en un panel.
- Una tienda en línea con un agente de compras o de atención por WhatsApp puede frenar un despliegue si el agente vuelve a cometer el mismo error con un pedido.
¿Qué es Tracely?
Tracely es un proyecto de código abierto en GitHub que convierte las trazas de fallos reales de agentes de IA en pruebas de regresión que se repiten en cada actualización y pueden bloquear un pull request, según su propio repositorio.
¿Ya se puede usar Tracely?
Sí, el código está disponible públicamente en GitHub y se puede autoalojar con Docker, pero es un proyecto joven: su SDK está en la versión 0.0.1 y el repositorio tiene apenas 19 commits.
¿Cuánto ha crecido Tracely en GitHub?
En 13 días sumó 1,163 estrellas y 140 bifurcaciones, según el análisis de Explainx y el conteo del propio repositorio en GitHub.
¿Tracely tiene costo?
Las fuentes no confirman un plan de precios; el proyecto es de código abierto bajo licencia MIT y se instala en tu propia infraestructura, así que el gasto real es el de tu propio servidor.
¿Necesita llaves de API para correr las pruebas en CI/CD?
No, según la documentación del proyecto la suite se repite en CI contra datos ya grabados (fixtures), de forma determinista y sin llamadas en vivo al modelo ni gasto adicional.
¿Qué pasa si el mismo error vuelve a aparecer?
El pull request se bloquea: el comando tracely gate termina con error, publica un estado en el commit y comenta el PR, de acuerdo con la documentación en GitHub.
Fuentes
¿Tu agente de IA ya falló una vez con un cliente?
En Zadrig Technology seguimos de cerca herramientas como Tracely para que ese fallo no se repita con el siguiente cliente. Agenda una demostración y revisamos juntos cómo blindar tus agentes de IA antes de que un mismo error te cueste dos veces.
Escríbenos por WhatsApp
