En este artículo
Un agente que responde correctamente en una demostración puede fallar al consultar una fuente desactualizada, ejecutar una acción fuera de contexto o escalar una solicitud que debía resolver. Por eso, entender cómo diseñar pruebas para agentes exige ir más allá de validar la calidad de una respuesta escrita. El objetivo es comprobar que el agente toma decisiones justificadas, respeta sus límites y mantiene un comportamiento predecible dentro de los sistemas reales de la organización.
Para una entidad pública, una universidad o una empresa con operaciones críticas, el riesgo no se limita a una respuesta imprecisa. Puede afectar la integridad de datos, un trámite ciudadano, una decisión operativa o la confianza en un canal digital. Las pruebas deben ser parte de la arquitectura del agente desde su diseño, no una actividad posterior al desarrollo.
Qué debe demostrar una prueba de agentes
Un agente de inteligencia artificial combina modelo de lenguaje, instrucciones, memoria, herramientas, fuentes de conocimiento y reglas de orquestación. Evaluarlo solo con preguntas frecuentes deja sin revisar la mayor parte del sistema. Una prueba útil debe demostrar tres condiciones: que interpreta correctamente la intención, que utiliza los recursos autorizados y que termina su tarea sin exceder el alcance asignado.
La respuesta final importa, pero no es el único resultado evaluable. También deben observarse los pasos intermedios: qué fuente consultó, qué herramienta invocó, qué datos recibió, por qué solicitó validación humana y qué acción dejó registrada. Esta evidencia permite diferenciar un resultado acertado por casualidad de un proceso que puede mantenerse, auditarse y corregirse.
El nivel de exigencia depende del caso. Un asistente que orienta sobre contenidos públicos admite cierta variación en su redacción. Un agente que actualiza expedientes, consulta información sensible o activa procesos de negocio requiere controles mucho más estrictos. En esos escenarios, una formulación convincente no compensa una ejecución insegura.
Cómo diseñar pruebas para agentes con criterio de riesgo
El punto de partida es definir el contrato operativo del agente. No basta con decir que atenderá consultas o automatizará solicitudes. Se debe establecer qué objetivos persigue, qué información puede consultar, qué sistemas puede usar, qué acciones puede ejecutar y en qué casos debe detenerse o transferir el caso a una persona.
Este contrato convierte expectativas generales en condiciones verificables. Por ejemplo, un agente de soporte para una plataforma institucional podría consultar una base documental aprobada, crear un ticket y solicitar datos mínimos de contacto. No debería modificar permisos de usuarios ni emitir conceptos jurídicos. Cada capacidad autorizada y cada límite explícito se convierten en casos de prueba.
Después conviene construir una matriz que relacione escenarios, riesgos y criterios de aprobación. No tiene que ser extensa desde el inicio, pero sí representativa de la operación. Debe incluir solicitudes normales, variaciones de lenguaje, información incompleta, instrucciones ambiguas y situaciones adversas. Los casos más valiosos suelen aparecer en los límites: cuando dos políticas parecen contradictorias, cuando la fuente no tiene la respuesta o cuando un usuario intenta cambiar el propósito original de la conversación.
Pruebe tareas, no solo conversaciones
Una prueba conversacional pregunta si el agente responde bien. Una prueba de tarea verifica si completó una secuencia con las decisiones correctas. Si el agente debe consultar un sistema académico, verificar un requisito y generar una solicitud de atención, el caso debe medir la secuencia completa.
Esto incluye validar parámetros enviados a las herramientas, manejo de errores, uso de credenciales, tiempos de respuesta y registro de auditoría. Un agente puede explicar correctamente el procedimiento y, aun así, crear una solicitud con datos erróneos o duplicados. En procesos integrados, la calidad se mide en el efecto real sobre los sistemas, no solo en el texto mostrado al usuario.
Es recomendable usar entornos controlados, datos sintéticos o conjuntos anonimizados. Probar directamente sobre información productiva eleva el riesgo y dificulta repetir los resultados. Cuando se requieran datos reales por razones de precisión, deben aplicarse controles de acceso, minimización de información y trazabilidad de cada ejecución.
Diseñe casos esperados y casos de rechazo
Los equipos suelen concentrarse en demostrar que el agente resuelve solicitudes válidas. Sin embargo, gran parte de la seguridad depende de evaluar cuándo debe negarse a actuar. Un buen agente reconoce que no tiene información suficiente, rechaza instrucciones no autorizadas y solicita confirmación antes de realizar acciones sensibles.
Los casos de rechazo deben cubrir intentos de manipulación de instrucciones, solicitudes de datos personales no permitidos, acciones que exceden el rol del usuario y consultas que carecen de respaldo documental. También deben probarse conflictos entre una instrucción del usuario y las reglas del sistema. El comportamiento esperado no es improvisar una salida elegante: es conservar la política definida, explicar el límite de forma clara y ofrecer una ruta alternativa cuando exista.
En agentes conectados a RAG, conviene incorporar preguntas cuya respuesta no aparezca en las fuentes aprobadas. La prueba debe verificar que el agente declare la falta de evidencia en lugar de completar vacíos con información plausible. Si se citan documentos o se muestran referencias, también se debe comprobar que correspondan realmente al contenido recuperado.
Métricas que permiten decidir si un agente está listo
No existe una métrica única de calidad. La evaluación debe combinar precisión funcional, seguridad y desempeño operativo. La tasa de éxito por tarea indica cuántos casos terminan con el resultado esperado. La fidelidad de recuperación muestra si las fuentes seleccionadas sostienen la respuesta. La tasa de escalamiento revela si el agente deriva correctamente los casos que requieren intervención humana.
También conviene medir acciones indebidas, intentos de herramienta fallidos, respuestas sin respaldo y tiempo de resolución. Una tasa baja de escalamiento no siempre es positiva: puede indicar que el agente está respondiendo con exceso de confianza donde debería detenerse. Del mismo modo, reducir el tiempo de respuesta mediante instrucciones demasiado restrictivas puede deteriorar la capacidad para resolver solicitudes complejas.
Establezca umbrales por tipo de riesgo. En una orientación informativa, una variación moderada en la redacción puede ser aceptable. En una transacción que modifica registros, el margen para acciones erróneas debe ser cercano a cero y puede requerir confirmación humana obligatoria. Estos criterios deben ser conocidos por negocio, tecnología, seguridad y operación antes del despliegue.
La evaluación debe continuar después del lanzamiento
Los agentes cambian aunque su código no cambie. Pueden cambiar los documentos conectados, las APIs integradas, las políticas internas, el modelo subyacente o el tipo de solicitudes de los usuarios. Por esa razón, las pruebas no terminan con la salida a producción.
Una práctica efectiva es conservar un conjunto de evaluación versionado con casos críticos y ejecutarlo ante cada cambio de instrucciones, fuentes, modelos, herramientas o flujos de orquestación. Si se modifica una integración empresarial, deben repetirse las pruebas de extremo a extremo. Si se actualiza la base de conocimiento, deben revisarse consultas sensibles y respuestas con alto impacto institucional.
La observabilidad complementa esta disciplina. Los registros deben permitir reconstruir la ejecución sin exponer información innecesaria: entrada recibida, decisión tomada, fuentes consultadas, herramientas usadas, resultado y motivo de una escalación o rechazo. Esta trazabilidad facilita investigar incidentes, ajustar políticas y demostrar control ante auditorías.
También es útil revisar conversaciones reales mediante muestreo y criterios de anonimización. Los escenarios de laboratorio revelan errores previsibles; la operación descubre formas de uso que nadie anticipó. El aprendizaje debe alimentar nuevos casos de prueba, no depender únicamente de ajustes manuales a las instrucciones.
Arquitectura y operación: la prueba como control permanente
Diseñar pruebas para agentes no es una tarea exclusiva del equipo de IA. Requiere participación de quienes conocen el proceso, administran los datos, responden por la seguridad y atienden a los usuarios. La calidad surge cuando el comportamiento esperado está definido como una decisión institucional y no como una intuición técnica.
En Coresis, este enfoque se traduce en acciones acotadas, auditables y medibles, integradas con la arquitectura existente y con criterios de continuidad operativa. La pregunta decisiva no es si el agente puede responder, sino si puede operar con límites claros cuando el contexto cambia, la información falta o una decisión tiene consecuencias reales.