Probar un agente de IA antes de lanzarlo: señales de que aún no está listo
Un agente que luce perfecto en la demo puede inventar precios o prometer citas que no existen cuando lo usan clientes reales. Esta guía te enseña a probarlo antes de publicarlo, con errores, señales y un PDF para descargar.
Qué probar, cómo medirlo y cuándo sí publicarlo
Qué probar, cómo medirlo y cuándo sí publicarlo, con checklist descargable.
Un agente de IA que contesta bien en la demo todavía no está listo para atender a tus clientes. Para probar un agente de IA antes de lanzarlo hace falta revisarlo con mensajes reales, varias veces y con las herramientas conectadas. Esta guía trae un PDF descargable gratis, con el checklist para hacerlo.
En resumen
Para probar un agente de IA antes de lanzarlo, arma un lote de 20 a 50 conversaciones reales de tus clientes, córrelo varias veces y no lo publiques hasta que pase tus casos críticos sin falla. Según Anthropic, ese tamaño basta para empezar; según Microsoft Learn, una tasa de aprobados realista ronda entre 80 % y 90 %, según el negocio.
- Empieza con 20 a 50 casos sacados de chats reales.
- Corre cada prueba varias veces: el agente no responde igual siempre.
- Verifica el resultado en tu sistema, no solo lo que dice el agente.
- Vuelve a probar todo cada vez que cambies algo.
Por qué falla un agente que lució bien en la demo
Una demo solo demuestra que el agente puede funcionar una vez, con las preguntas que tú elegiste. Los clientes escriben con faltas de ortografía, mandan audios, cambian de tema a la mitad y preguntan cosas que nadie te anticipó.
Además, un agente de IA no responde igual cada vez. Anthropic, en su artículo de ingeniería Demystifying evals for AI agents, explica que como las respuestas varían entre corridas se hacen varios intentos por cada tarea para obtener resultados más consistentes. Por eso probar una sola vez no te dice casi nada.
La idea clave
Probar un agente no es preguntarle tres cosas y ver que conteste bonito. Es comprobar, con casos reales y repetidos, que hace lo correcto, que no inventa y que sabe cuándo pasar el chat a una persona.
Los errores más comunes al probar un agente
Los errores de prueba se repiten casi igual en cualquier negocio, y cada uno deja una señal que puedes detectar. Esta tabla junta los siete que más vemos cuando un agente de WhatsApp o de atención se publica demasiado pronto.
| Error | Señal de que te pasa | Cómo corregirlo |
|---|---|---|
| Probar solo con preguntas que tú inventas | Todo pasa en la demo, pero falla con audios, abreviaturas y faltas de ortografía | Armar los casos con chats reales de tu WhatsApp, quitando datos personales |
| Probar cada caso una sola vez | La misma pregunta recibe respuestas distintas en días distintos | Correr cada caso varias veces y revisar cuántas sale bien |
| Probar solo casos fáciles | Inventa precios, horarios o políticas cuando no sabe | Agregar casos raros y casos para engañarlo, y exigir un «no lo sé» con pase a persona |
| Creerle al agente lo que dice que hizo | Dice «cita agendada» pero no hay nada en la agenda | Revisar el resultado en tu sistema: agenda, CRM, inventario o factura |
| Cambiar instrucciones sin volver a probar | Arreglas una respuesta y se rompe otra que ya servía | Correr todo el lote completo después de cada cambio |
| No definir qué es «aprobado» antes de empezar | Ajustas el criterio hasta que el resultado se vea bien | Escribir el umbral de aprobación antes de ver resultados |
| No probar el pase a un humano | Un cliente enojado sigue atorado con el agente | Incluir casos de queja, urgencia y petición de hablar con una persona |
Cuidado con la respuesta que suena bien
Anthropic distingue entre lo que el agente dice y el resultado real en el sistema. Un agente de reservas puede decir «tu vuelo está reservado», pero lo que cuenta es si la reservación existe en la base de datos. Aplica lo mismo a citas, pedidos y cobros: revisa siempre el registro.
Cómo armar tu lote de pruebas
No necesitas cientos de casos para empezar. Según Anthropic, entre 20 y 50 tareas sencillas, sacadas de fallas reales, son un buen comienzo, porque al principio cada cambio tiene un efecto notorio y no hacen falta muestras enormes.
Junta mensajes reales
Exporta conversaciones de tu WhatsApp, correo o formulario de las últimas semanas y quita nombres, teléfonos y datos fiscales.
Clasifícalos en cuatro tipos
Casos comunes, casos raros, casos para engañar al agente y casos que obligan a usar una herramienta, como agendar o consultar un pedido.
Escribe la respuesta correcta de cada caso
Para cada mensaje anota qué debe hacer el agente y qué no debe hacer nunca, por ejemplo prometer descuentos.
Marca los casos críticos
Son los que cuestan dinero o reputación: precios, pagos, facturas, quejas y temas de salud. Esos no admiten falla.
Corre el lote varias veces
Guarda cuántos casos salieron bien en cada corrida y qué versión del agente probaste, para comparar después de cada cambio.
Ejemplo: lote de pruebas para una clínica dental
Con 30 casos así, repartidos entre estos cuatro tipos, ya detectas la mayoría de los problemas antes de que los vea un paciente. Los números son un ejemplo de tamaño, no un estándar.
Cómo probarlo en n8n sin programar
n8n trae evaluaciones ligeras para flujos con IA que corren tus casos uno por uno y guardan las respuestas en una tabla. Según la documentación de n8n, están disponibles en todos los planes de n8n Cloud y, en instalaciones propias, en las ediciones Community registrada, Business y Enterprise.
Crea la tabla de casos
Una columna con el mensaje del cliente, otra con la respuesta esperada y otra vacía para lo que conteste el agente.
Conecta el disparador de evaluación
Cada fila de la tabla entra a tu flujo como si fuera un mensaje nuevo, una por una.
Guarda las salidas y compara
El nodo Evaluation escribe la respuesta del agente junto a la esperada y puede registrar métricas numéricas para seguirlas en la pestaña de evaluaciones.
Si tu agente vive en otra herramienta, el método es el mismo: una tabla de casos, una corrida repetible y una comparación contra lo esperado. Lo que no se vale es probar a mano un par de mensajes y dar el visto bueno.
Cuándo sí lanzarlo y qué vigilar después
Un agente está listo para publicarse cuando pasa tus casos críticos sin fallas y el resto de las pruebas alcanza el umbral que definiste antes de empezar. Microsoft Learn, en su lista de verificación de evaluación de agentes, recomienda ejecutar el conjunto de pruebas varias veces, promediar el resultado y buscar una tasa de aprobados realista de 80 % a 90 %, según las necesidades del negocio.
Por qué una sola corrida engaña
Según Anthropic, si un agente acierta 75 % de las veces en cada intento y lo pruebas tres veces, la probabilidad de que acierte las tres es de apenas 42 %. Para un cliente que insiste, la consistencia importa tanto como el promedio.
Publicar no cierra las pruebas. Cuando el agente ya atiende clientes, cada queja o error real debe volverse un caso nuevo en tu lote, para que la falla no se repita.
- Lee al azar unas cuantas conversaciones cada semana, completas.
- Anota cada vez que una persona del equipo tuvo que corregir al agente.
- Revisa que las citas, pedidos o facturas que reportó sí existan en tu sistema.
- Convierte cada queja real en un caso nuevo del lote de pruebas.
- Vuelve a correr todo el lote al cambiar el modelo, las instrucciones o los documentos.
- Ten a la mano cómo apagar el agente y pasar todo a una persona si algo sale mal.
Qué probar según tu giro en México y Latinoamérica
Cada giro tiene sus propios casos críticos, y ahí es donde un agente mal probado cuesta clientes. Estos son cuatro ejemplos de lo que conviene meter en el lote antes de publicar.
Clínicas y consultorios
Casos de dolor, urgencia y dudas médicas que deben pasar a una persona, más horarios que sí existan en la agenda.
Tiendas en línea
Estatus de pedido, cambios, devoluciones y solicitud de factura CFDI: el agente no debe prometer una factura sin los datos fiscales del cliente.
Soporte de SaaS y agencias
Preguntas técnicas fuera de la documentación: debe decir que no lo sabe y abrir un ticket, no inventar una solución.
Distribuidoras y mayoreo
Cotizaciones con precios y existencias: el agente debe consultar la lista vigente y nunca cotizar de memoria.
Si no quieres armar y mantener este lote tú mismo, en Zadrig Technology construimos agentes con IA y automatizaciones para negocios de México y Latinoamérica, y los probamos antes de entregarlos. Puedes pedir una demostración gratis por WhatsApp.
Preguntas frecuentes
¿Cuántas pruebas necesita un agente de IA antes de lanzarlo?
Para empezar bastan entre 20 y 50 casos sencillos tomados de fallas o conversaciones reales, según Anthropic. Después los vas aumentando con cada queja o error que aparezca en producción.
¿Se puede probar un agente de IA sin saber programar?
Sí. En n8n puedes usar evaluaciones ligeras con una tabla de casos, sin escribir código. Según la documentación de n8n, están en todos los planes de Cloud y en las ediciones Community registrada, Business y Enterprise de instalación propia.
¿Qué porcentaje de aciertos debe tener un agente para publicarlo?
Depende del riesgo de tu negocio. Microsoft Learn sugiere buscar una tasa de aprobados realista de 80 % a 90 %, según tus necesidades. En casos críticos como pagos, precios o salud, define un umbral más estricto y exige cero fallas.
¿Cada cuánto hay que volver a probar el agente?
Cada vez que cambies las instrucciones, el modelo de IA, los documentos o las herramientas conectadas. Un arreglo en un punto puede romper algo que ya funcionaba, y solo lo ves corriendo el lote completo.
¿Zadrig Technology puede probar y poner en marcha mi agente?
Sí. Zadrig Technology construye agentes con IA, apps a la medida y automatizaciones, y los prueba con casos de tu negocio antes de entregarlos. Escríbenos por WhatsApp y te hacemos una demostración gratis.
Fuentes
¿Prefieres que lo probemos y lo pongamos en marcha por ti?
Cuéntanos qué atiende tu negocio y te hacemos una demostración gratis. Te responde una persona de Zadrig Technology, no un bot.
Escríbenos por WhatsApp
