En este artículo
Un agente de inteligencia artificial no genera valor por responder de forma convincente. Lo genera cuando completa una acción útil dentro de un proceso, respeta sus límites de autorización y deja evidencia suficiente para entender qué hizo, con qué información y bajo qué reglas. Por eso, entender cómo medir agentes empresariales exige ir más allá de métricas superficiales como el número de conversaciones o la velocidad de respuesta.
Para una organización pública, una universidad o una empresa con sistemas críticos, la pregunta correcta no es si el agente “funciona”. Es si mejora un resultado operacional sin introducir un riesgo desproporcionado en seguridad, calidad del servicio, cumplimiento o continuidad. La medición debe responder esa pregunta con datos que puedan ser revisados por negocio, tecnología, auditoría y los responsables del proceso.
Medir un agente empieza por delimitar su trabajo
Un agente empresarial debe tener un propósito acotado. Puede clasificar solicitudes, consultar conocimiento institucional mediante RAG, preparar un borrador de respuesta, enrutar un caso, verificar requisitos documentales o ejecutar acciones autorizadas en sistemas existentes. Cuanto más clara sea la unidad de trabajo, más confiable será la evaluación.
Antes de elegir indicadores, conviene documentar el proceso actual: quién inicia la solicitud, qué fuentes consulta el equipo, qué decisión se toma, qué excepciones existen y cuándo se requiere aprobación humana. Esta línea base permite comparar el desempeño antes y después de implementar el agente. Sin ella, una reducción en tiempos puede parecer positiva, aunque se esté trasladando carga de trabajo a otro equipo o aumentando la cantidad de casos corregidos manualmente.
También hay que separar tres niveles de autonomía. Un agente puede asistir, cuando propone información o redacta una salida para revisión; puede recomendar, cuando prioriza opciones con evidencia; o puede actuar, cuando modifica un registro, crea un caso o activa un workflow. Cada nivel demanda métricas y controles distintos. Un asistente editorial no se mide igual que un agente que interviene una plataforma de atención ciudadana o un sistema académico.
Cómo medir agentes empresariales según el resultado
La primera familia de métricas debe estar conectada con el objetivo del proceso. Si el agente atiende solicitudes, el indicador puede ser el tiempo promedio hasta la primera respuesta útil, la tasa de resolución en el primer contacto o la reducción de represamientos. Si apoya una operación documental, puede medirse el porcentaje de expedientes correctamente preparados, el tiempo de validación y el número de devoluciones por información incompleta.
La medición debe distinguir entre productividad real y actividad automatizada. Que un agente procese mil solicitudes no demuestra impacto si buena parte termina en escalamiento, corrección o reproceso. Una señal más confiable es la cantidad de trabajo que llega correctamente a su siguiente etapa, con menor esfuerzo humano y sin deteriorar la experiencia del usuario.
En procesos con varios equipos, es útil observar el ciclo completo. Por ejemplo, un agente que clasifica requerimientos puede reducir el tiempo de asignación, pero generar una mala categorización que alarga la resolución final. La métrica de negocio debe capturar ambos efectos. El ahorro local no compensa un costo mayor en otra parte de la operación.
Asimismo, deben definirse objetivos diferenciados para casos simples y casos sensibles. Un agente puede resolver con alta autonomía consultas frecuentes, mientras que solicitudes relacionadas con datos personales, contratación, actos administrativos o decisiones que afecten derechos deben permanecer bajo revisión humana. Medir bien no significa maximizar autonomía. Significa asignarla donde es justificable.
Calidad: exactitud, fundamento y manejo de excepciones
Un agente no debe evaluarse solo por si entrega una respuesta aparentemente correcta. Hay que revisar la fidelidad respecto a las fuentes, la pertinencia para la solicitud y la capacidad de reconocer cuando no tiene información suficiente. En soluciones RAG, por ejemplo, una buena respuesta debe sostenerse en contenido institucional vigente, recuperar las fuentes adecuadas y evitar inferencias que excedan la evidencia disponible.
La calidad puede evaluarse con un conjunto de casos de prueba representativos: consultas frecuentes, solicitudes ambiguas, información desactualizada, documentos contradictorios y escenarios que obliguen al agente a abstenerse. Estos casos deben provenir, en parte, de la operación real anonimizada, porque los ejemplos ideales rara vez reflejan el lenguaje, los errores y las excepciones de los usuarios.
Las métricas más útiles combinan evaluación automática y revisión experta. La evaluación automática permite observar tendencias a escala: porcentaje de respuestas con fuentes válidas, precisión en clasificación o coincidencia con resultados esperados. La revisión humana permite valorar elementos que requieren contexto, como la claridad de una respuesta, la adecuación del tono institucional o la gravedad de un error.
También debe medirse la tasa de abstención correcta. Un agente confiable no intenta responder todo. Cuando no encuentra evidencia, detecta un conflicto entre fuentes o recibe una solicitud fuera de su alcance, debe pedir aclaración, escalar el caso o informar su limitación. Una tasa baja de abstención puede ser una alerta si coincide con errores de alto impacto.
Eficiencia técnica y costo por resultado útil
La latencia es relevante, especialmente en canales de atención o flujos operativos con usuarios esperando. Sin embargo, reducir segundos no debe llevar a eliminar validaciones necesarias, consultar menos fuentes o usar modelos que reduzcan la calidad. El objetivo es un tiempo de respuesta acorde con la criticidad del proceso y con la experiencia esperada del usuario.
El costo debe analizarse por resultado útil, no solo por interacción. Incluye consumo de modelos, infraestructura, consultas a repositorios, herramientas externas, supervisión humana y mantenimiento de integraciones. Un agente que parece económico por conversación puede ser costoso si demanda revisiones extensas o repite consultas por fallas de orquestación.
Esta medición permite tomar decisiones de arquitectura. Algunas tareas justifican modelos más capaces y una recuperación documental más profunda. Otras pueden resolverse con reglas, automatizaciones convencionales o modelos de menor costo. La arquitectura empresarial no consiste en aplicar IA a cada paso, sino en usar el componente adecuado según el riesgo, el volumen y el valor de la decisión.
Seguridad, trazabilidad y control operacional
En entornos institucionales, un resultado correcto no basta si no puede explicarse y auditarse. Cada ejecución relevante debe registrar la solicitud recibida, las fuentes consultadas, las herramientas utilizadas, la acción propuesta o ejecutada, el usuario o sistema que autorizó el paso y el resultado final. Este registro permite investigar incidentes, mejorar reglas y demostrar cumplimiento.
Las métricas de seguridad deben incluir intentos de acceso no autorizado, bloqueos por políticas, exposición potencial de datos sensibles y acciones revertidas. Si el agente usa herramientas conectadas a sistemas empresariales, también se debe medir el cumplimiento de permisos y el porcentaje de operaciones que requieren aprobación. Un diseño seguro aplica el principio de mínimo privilegio: el agente solo accede a los datos y acciones estrictamente necesarios.
La observabilidad debe cubrir el workflow completo, no únicamente el modelo. Una respuesta defectuosa puede originarse en un documento obsoleto, una integración caída, una regla de enrutamiento incorrecta o una definición ambigua del proceso. Identificar la causa evita atribuir todos los problemas al modelo y permite corregir el componente adecuado.
Diseñe un tablero que permita decidir
Un tablero útil no acumula indicadores sin jerarquía. Debe mostrar, para cada agente, el objetivo de negocio, su volumen de uso, la calidad del resultado, los costos, los incidentes y los casos escalados. Además, necesita comparar el comportamiento actual con una línea base y con umbrales previamente acordados.
La frecuencia de revisión depende del riesgo. Un agente que publica contenido o consulta conocimiento puede revisarse semanalmente, con monitoreo de incidentes en tiempo real. Un agente que ejecuta cambios en registros críticos requiere alertas inmediatas, revisiones más frecuentes y procedimientos claros de reversión. En ambos casos, los cambios de modelo, prompts, fuentes de conocimiento o integraciones deben tratarse como cambios controlados de producción.
Coresis aborda esta medición como parte de una arquitectura de operación continua: agentes conectados a sistemas existentes, acciones acotadas, auditables y medibles, y criterios claros para escalar o corregir. El valor no está en demostrar que un agente conversa bien, sino en comprobar que contribuye al proceso con evidencia y control.
Un agente empresarial merece más autonomía cuando sus resultados permanecen estables bajo condiciones reales, sus errores son detectables y reversibles, y el equipo sabe intervenir cuando algo cambia. Esa es la base para crecer sin convertir la automatización en una nueva fuente de incertidumbre.