El software tradicional suele fallar de forma visible: una excepción, una latencia elevada o una operación incompleta. Un agente de IA puede terminar la tarea y, aun así, haber escogido la herramienta equivocada, consultado información innecesaria, ignorado una política o tomado una decisión poco fiable.
Por eso la observabilidad de agentes se ha convertido en un requisito de producción. En septiembre de 2026, Google presentó una vista previa de detección de anomalías para agentes empresariales. La documentación actual de OpenAI también sitúa las trazas, los evaluadores y los conjuntos de prueba dentro del ciclo de mejora. El mensaje es claro: los agentes necesitan el rigor del software crítico y señales específicas para su comportamiento.
¿Qué es la observabilidad de agentes de IA?
Es la capacidad de reconstruir lo sucedido durante una ejecución, medir si el resultado fue adecuado y detectar desviaciones antes de que se conviertan en incidentes. Combina telemetría técnica, contexto de negocio y evaluación del recorrido seguido por el agente.
Un registro útil no guarda únicamente la respuesta final. Incluye versiones de instrucciones, llamadas al modelo, herramientas utilizadas, permisos, delegaciones, tiempos, costes, errores, aprobaciones humanas y efectos producidos en los sistemas.
La monitorización tradicional no es suficiente
CPU, memoria, disponibilidad y latencia siguen siendo importantes, pero no responden a las preguntas clave de un flujo agéntico:
- ¿eligió el agente la herramienta adecuada?
- ¿consultó solo los datos necesarios?
- ¿respetó los límites de importe, función y alcance?
- ¿solicitó aprobación cuando correspondía?
- ¿alcanzó el objetivo sin pasos innecesarios?
- ¿mantiene la calidad después de cambiar el modelo, el prompt o una integración?
Estas cuestiones requieren trazabilidad semántica y criterios vinculados al proceso. Una respuesta amable no convierte en correcto un servicio que concedió un descuento inexistente o cerró una incidencia sin resolverla.
Cinco pilares para una operación fiable
1. Trazas completas y consultables
Cada ejecución necesita un identificador y una cronología. La traza conecta entrada, decisiones, herramientas, subagentes, respuestas externas y resultado. Los datos personales y secretos deben enmascararse, y la conservación ha de responder a una finalidad definida.
2. Evaluaciones continuas
Una evaluación convierte “parece correcto” en un criterio repetible. Casos reales anonimizados y escenarios límite permiten comprobar precisión, cumplimiento de políticas, uso de herramientas y escalado a una persona. Antes de desplegar un cambio, la nueva versión debe compararse con una referencia.
3. Métricas técnicas y de negocio
La tasa de error y la latencia deben convivir con resolución en el primer contacto, tareas completadas, reprocesos, coste por ejecución, conversión, tiempo ahorrado y operaciones revertidas. Optimizar solo tokens o velocidad puede empeorar el resultado empresarial.
4. Límites de actuación
El agente debe trabajar con el menor privilegio posible. Las acciones sensibles pueden exigir confirmación, doble validación, límites económicos, una lista de herramientas autorizadas o una ejecución simulada. También hacen falta mecanismos de parada y reversión.
5. Detección de anomalías
No todos los incidentes generan un error. Las alertas deben reconocer secuencias de herramientas inusuales, exceso de intentos, acceso a recursos atípicos, costes anómalos y comportamientos raros para el perfil del usuario.
Ejemplo: un agente financiero
Imaginemos un agente que lee facturas, compara pedidos y prepara pagos. El flujo correcto identifica al proveedor, valida sus datos, comprueba importe y vencimiento, contrasta el pedido y remite la operación para aprobación.
La observabilidad debe mostrar si omitió una comprobación, utilizó un documento antiguo, repitió una llamada o intentó superar el límite. El estado «pago preparado» no demuestra que el proceso haya sido correcto: el recorrido también forma parte de la evidencia.
Qué conviene medir desde el piloto
- Calidad: exactitud, cobertura, cumplimiento y satisfacción.
- Fiabilidad: fallos, reintentos, tiempos de espera, recuperación e intervención humana.
- Eficiencia: duración, llamadas a herramientas, tokens y coste por tarea.
- Seguridad: acciones bloqueadas, accesos indebidos, datos sensibles y anomalías.
- Impacto: horas ahorradas, conversión, reducción de reprocesos y tiempo de ciclo.
Cómo crear una base de evaluaciones
- Definir el éxito: emplear criterios observables, no adjetivos ambiguos.
- Reunir casos representativos: incluir rutinas, excepciones y entradas maliciosas.
- Especificar lo esperado: acción, herramienta, restricción y momento de pedir ayuda.
- Automatizar lo objetivo: validar formatos, cálculos, permisos y efectos.
- Revisar muestras difíciles: las personas expertas actualizan criterios y ejemplos.
- Ejecutar regresiones: probar cada cambio de prompt, modelo, regla o integración.
Observar sin exponer información
Registrar todo sin control crea otro riesgo. La telemetría necesita minimización de datos, permisos, cifrado, plazos de conservación y separación de entornos. Credenciales, documentos y datos personales no deben aparecer en paneles accesibles a personas ajenas a la operación.
Conviene diferenciar depuración y auditoría. Los logs técnicos ayudan a corregir el sistema; las trazas de auditoría demuestran quién autorizó, qué versión actuó y qué efecto produjo. Sus destinatarios y plazos pueden ser distintos.
Una ruta desde el prototipo hasta producción
- elegir un proceso delimitado y de bajo impacto;
- instrumentar las trazas antes de ampliar la autonomía;
- crear un conjunto mínimo de evaluaciones y una referencia;
- aplicar permisos específicos por herramienta y usuario;
- definir aprobaciones y vías de reversión;
- seguir métricas técnicas, de calidad y de negocio;
- ampliar el alcance solo cuando los datos lo justifiquen.
Un agente fiable es un sistema, no solo un modelo
La calidad depende del conjunto: datos, integraciones, instrucciones, permisos, evaluaciones, experiencia y operación. Sustituir el modelo rara vez corrige por sí solo un proceso sin trazabilidad.
ProativaIA desarrolla soluciones de IA y automatización, conecta agentes con ERP, CRM y WhatsApp y crea software a medida con controles adaptados al proceso. Podemos estructurar el piloto, la telemetría, las evaluaciones y los límites necesarios para llevar la automatización a producción con seguridad.