Cómo evaluar Agents de IA antes del lanzamiento

Define resultado, tools permitidas, acciones prohibidas, fuente de evidencia, coste, latencia, aprobaciones y condición de parada antes de elegir métricas. Una respuesta fluida puede acompañar una escritura incorrecta.

Incluye tareas habituales, bordes difíciles, fallos previos, denegaciones, contenido hostil, timeouts, recuperación y búsqueda vacía; vincula cada caso a una revisión exacta.

Usa comprobaciones deterministas para reglas exactas y evaluadores calibrados para calidad. Una persona sigue decidiendo criterios ambiguos, cambios de alto impacto y el lanzamiento.

Unos chats correctos son ejemplos, no un dataset. La media puede ocultar una acción irreversible, por lo que los writes importantes necesitan casos exactos de denegación y aprobación.

Un LLM judge no es verdad absoluta: calíbralo con etiquetas humanas, conserva checks deterministas y no conviertas errores de modelo, billing o infraestructura en aprobados.

Evaluación no sustituye pentest, monitorización ni validación de clientes. Mantén cada evidencia en su carril.

Prostir tiene un módulo Evaluations implementado y compartido por Agent, Skill y Team, con casos tipados, perfiles, runs, resultados, señales y propuestas bajo el producto exacto.

La evidencia entra solo con selección y consentimiento explícitos. Los checks deterministas no requieren judge; Microsoft.Extensions.AI.Evaluation exige autorización expresa de créditos y presupuesto positivo.

Un run no cambia ni publica el producto. La propuesta espera revisión humana y solo puede modificar el draft con su revisión exacta todavía vigente.