Cómo saber si su agente de voz de IA realmente está funcionando

Fecha de investigación: 23 de septiembre de 2026. Última actualización: 23 de septiembre de 2026.

Ningún proveedor en este mercado publica una tasa de contención, por lo que la única forma de saber si su implementación funciona es medirla usted mismo. La complicación radica en que la medición que le entrega la plataforma la genera el mismo tipo de modelo que gestionó la llamada, calificándose a sí mismo frente a los objetivos que infirió a partir de su indicación (prompt).

Esta página establece qué vale la pena medir, en qué números se puede confiar con seguridad y la única métrica que detecta el fallo que todas las demás métricas ocultan.

Brilo AI publica esta página y vende un agente de voz. La sección sobre lo que Brilo no le ofrece se rige por el mismo estándar que todo lo demás aquí expuesto.

Cómo recopilamos esta información

Investigación documentada, extraída de la documentación técnica de los proveedores el 23 de septiembre de 2026. No se instrumentó ningún producto ni se analizaron datos de llamadas, por lo que nada de lo aquí expuesto informa sobre el rendimiento observado. Lo que sí reporta es lo que las plataformas dicen medir y lo que se deduce de ello.

La puntuación integrada es el sistema calificando su propio examen

Las plataformas ofrecen análisis posteriores a la llamada y son realmente útiles. Pero no son independientes.

Vapi genera tres cosas después de una llamada: un resumen en call.analysis.summary, una extracción de datos estructurados en call.analysis.structuredData basada en un esquema JSON que usted defina, y una evaluación de éxito en call.analysis.successEvaluation que "determina si la llamada fue exitosa según los objetivos inferidos de la indicación del sistema (prompt)", calificada con base en una rúbrica que usted elija: NumericScale, Checklist, PassFail y varias otras. Fuente: docs.vapi.ai/assistants/call-analysis, consultado el 23 de septiembre de 2026.

Retell AI ofrece extracción posterior a la llamada en cuatro tipos de categorías (texto, selector, booleano y número), que se envían al panel de control, a un webhook activado cuando finaliza la llamada o a la API Get Call. Su documentación describe las categorías pero no define cómo se juzga el éxito de una llamada. Fuente: docs.retellai.com/features/post-call-analysis, consultado el 23 de septiembre de 2026.

Lea con atención esa redacción de Vapi, porque dice mucho. Los objetivos se infieren de la indicación del sistema (prompt); no los indica usted y no se contrastan con lo que el cliente quería. Un modelo de lenguaje lee una transcripción producida por un modelo de lenguaje y decide si se cumplió el objetivo que supuso.

Esa es una herramienta de triaje razonable, pero una base de evidencia deficiente. Úsela para clasificar miles de llamadas en una cola. No la use para decirle a su director financiero que la implementación está funcionando.

La contención es el número más manipulado de la categoría

La contención suele significar "resuelto sin un humano". En la práctica, casi siempre se implementa como "no transferido a un humano", y eso no es lo mismo.

Un usuario que recibe una respuesta incorrecta y cuelga no fue transferido. Un usuario que se rinde frustrado no fue transferido. Un usuario al que se le dice que lo que necesita no se puede hacer, cuando sí se podía, no fue transferido. Los tres casos se contabilizan como éxitos según una métrica de contención, y los tres son los fallos que más necesita encontrar.

Por eso, la tasa de contención puede subir mientras el negocio empeora, y esto es lo más importante que debe comprender antes de fijarse un objetivo al respecto.

Las cuatro cosas que realmente vale la pena medir

1. Tasa de llamadas repetidas: el indicador honesto de contención.

El número de usuarios que vuelven a llamar en un plazo de 24 a 72 horas por el mismo motivo. Si el agente realmente lo resolvió, no vuelven a llamar.

Esta es la métrica más útil de esta página por tres razones. Detecta exactamente el fallo que oculta la contención: el usuario que no fue transferido y al que tampoco se ayudó. No requiere cooperación de su proveedor, porque proviene de sus propios registros telefónicos (identificador de llamadas y marca de tiempo, que ya posee). Y no se puede manipular mediante cambios de prompts, porque mide lo que el usuario hizo después en lugar de lo que el sistema creyó haber logrado.

Mídala antes de realizar la implementación para tener una base de referencia. Una tasa de repetición estable o a la baja después de la implementación es una prueba real. Una tasa de contención del 80% con una tasa de repetición al alza significa que el agente está fallando de manera eficiente.

2. Calidad de la derivación (escalamiento), en ambas direcciones.

Dos fallos, y necesitan recuentos separados. Derivar lo que debería haber gestionado desperdicia la inversión. No derivar lo que debería haber derivado es lo que causa daño: el usuario angustiado, la pregunta relevante para el cumplimiento normativo, el caso atípico respondido con seguridad pero de forma errónea.

Mida también si el humano recibe el contexto. Una derivación en la que el agente entrega un resumen y el usuario no tiene que repetir su problema es un producto muy diferente a uno en el que la llamada simplemente se transfiere. Ningún proveedor publica una métrica para esto; solo puede obtenerla escuchando.

3. Tasa de invención (alucinación).

Con qué frecuencia el agente afirma algo que es falso. Esto no se puede automatizar, porque detectar una respuesta incorrecta requiere conocer la correcta. Requiere que una persona lea las transcripciones y las contraste con sus políticas, precios y disponibilidad reales.

También es el riesgo que peor escala. Un agente humano que inventa una respuesta lo hace en sus propias llamadas; un agente de voz mal configurado lo hace de manera idéntica en cada llamada, que es la doble cara del beneficio de la consistencia.

4. Fallos en el turno de palabra.

Cuente las interrupciones, los silencios incómodos y las llamadas en las que el usuario y el agente hablan al mismo tiempo. Estos son problemas de configuración (umbrales de finalización de frase, detección de turno) y no de modelos, y se pueden solucionar una vez que se sabe que están ocurriendo. Además, se correlacionan con el abandono, ya que un usuario interrumpido dos veces tiende a colgar.

Cómo realizar muestreos cuando dispone de todas las transcripciones

El control de calidad tradicional de los centros de llamadas analiza una muestra de pocas llamadas por agente porque escuchar es costoso. Un agente de voz le entrega el 100% de las transcripciones, lo que parece resolver el muestreo, pero no es así: nadie va a leer diez mil transcripciones.

El cambio radica en que ahora puede realizar muestreos de forma deliberada en lugar de aleatoria. El muestreo aleatorio de llamadas mayoritariamente exitosas solo encontrará éxitos. En su lugar, estratifique y priorice las áreas donde se ocultan los fallos:

• Llamadas que terminaron antes de tiempo: menos de 30 segundos suele significar que algo salió mal de inmediato

• Llamadas de usuarios recurrentes, que por definición contienen un problema sin resolver

• Llamadas que fueron derivadas, analizadas para ver si la derivación fue correcta y si se transmitió el contexto

• Llamadas que la evaluación integrada marcó como exitosas pero cortas, donde la autoevaluación del modelo tiene más probabilidades de ser incorrecta

• Un pequeño control aleatorio de todo lo demás, para poder identificar si sus estratos están pasando algo por alto

Veinte llamadas a la semana leídas adecuadamente bajo estos estratos le enseñarán más que mil leídas al azar, y mucho más que cualquier panel de control.

Sobre qué alertar y qué revisar

Alerte de inmediato sobre aspectos que signifiquen que el sistema está caído: tasa de fallos o caídas de llamadas por encima de la línea base, latencia superior a su umbral y concurrencia al límite (porque esto último significa que los usuarios reciben tono de ocupado y es invisible en los registros de llamadas que nunca se conectaron).

Revise semanalmente los aspectos que indiquen una desviación del sistema: tasa de llamadas repetidas, tasa de derivación en ambas direcciones y las transcripciones de muestra. Estos indicadores cambian lentamente y una alerta diaria sobre ellos es solo ruido.

La distinción es importante porque el fallo común es invertirlo: alertar sobre métricas de calidad que fluctúan y revisar las métricas de capacidad mensualmente, momento para el cual ya ha perdido un mes de llamadas.

En qué ayuda el software de análisis y en qué no

Existe actualmente una categoría de herramientas de observabilidad y evaluación para esto, y se divide en cosas que funcionan y cosas que se venden con falsas expectativas.

Realmente útil: almacenamiento y búsqueda de transcripciones, para que pueda encontrar cada llamada que mencione un término específico. Marcado automatizado basado en reglas que usted defina. Paneles agregados para tasas de latencia y fallos. Pruebas de regresión, donde se reproducen escenarios después de un cambio de prompt para comprobar que no se ha roto algo que antes funcionaba (esta es la herramienta más subestimada de todas, ya que los cambios de prompts tienen efectos no locales).

Falsas expectativas: puntuación de calidad automatizada presentada como verdad absoluta. Es la opinión de un modelo sobre el resultado de otro modelo. Útil para clasificar una cola, pero no para demostrar una cifra.

Dos advertencias prácticas. Compruebe si el análisis se cobra por separado del volumen de llamadas; varios productos venden la puntuación con un límite propio, por lo que "analizar el 100% de las llamadas" puede significar el 100% grabadas pero un número limitado realmente analizadas. Y compruebe la retención, porque no puede investigar una queja con una transcripción que ya ha sido eliminada; el plan gratuito de Vapi, por ejemplo, publica una retención de 14 días. Fuente: vapi.ai/pricing, consultado el 22 de septiembre de 2026.

Esta página no clasifica deliberadamente a proveedores de observabilidad específicos. Brilo no vende en esa categoría y evaluarla sería calificar un mercado en el que no participamos.

La parte que todavía requiere de una persona

Alguien tiene que encargarse de esto: unas pocas horas al mes, de forma indefinida, leyendo transcripciones y ajustando la configuración. No es un proyecto con una fecha de finalización.

Sin ese encargado, la contención se deteriora silenciosamente: su negocio cambia, sus precios cambian, sus horarios de apertura cambian y el agente sigue dando la respuesta antigua con total seguridad. Nada le alertará, porque desde el punto de vista del sistema nada está fallando. Las implementaciones que salen mal lentamente casi siempre lo hacen de esta manera, y el coste de tener un encargado es insignificante frente al coste de no tenerlo.

Brilo y lo que no le ofrece

Brilo proporciona transcripciones y registros de llamadas, y su plan gratuito incluye soporte de la comunidad en lugar de un canal privado. Fuente: brilo.ai/pricing, consultado el 22 de septiembre de 2026.

Lo que Brilo no publica, bajo el mismo estándar aplicado anteriormente: sin tasa de contención, sin tasa de precisión o de invención, sin precisión de reconocimiento por acento, y sin detalles publicados sobre períodos de retención o exportación de transcripciones en su página de precios. Si una revisión de cumplimiento o una auditoría requiere garantías sobre retención y exportación, pregunte antes de comprar en lugar de darlo por sentado, y esto se aplica a Brilo exactamente igual que a todos los demás en esta página.

Brilo es también un agente de voz y no una plataforma de centro de contacto, por lo que nada de esto cubre la supervisión de un equipo de agentes humanos.