Come valutare gli Agent AI prima del lancio

Definisci risultato, tool consentiti, azioni vietate, fonti, costo, latenza, approvazioni e condizione di arresto prima della metrica. Una risposta fluida può accompagnare una scrittura errata.

Includi attività normali, edge case, errori passati, rifiuti, contenuto ostile, timeout, retrieval vuoto e recupero; lega ogni caso a una revisione esatta.

Usa controlli deterministici per regole esatte e valutatori calibrati per la qualità. Una persona decide criteri ambigui, cambi ad alto impatto e lancio.

Poche chat riuscite sono esempi, non un dataset. Una media può nascondere un'unica azione irreversibile; le operazioni critiche richiedono casi esatti di rifiuto e approvazione.

Un LLM judge non è ground truth. Calibralo con etichette umane, conserva controlli esatti e non trasformare errori di modello, billing o infrastruttura in pass.

Evaluation non sostituisce security test, monitoraggio o validazione cliente. Mantieni separate queste prove.

Prostir ha un modulo Evaluations implementato e condiviso da Agent, Skill e Team, con casi tipizzati, profili, run, risultati, segnali e proposte nel prodotto esatto.

Le prove entrano solo dopo selezione e consenso espliciti. I controlli deterministici non richiedono judge; Microsoft.Extensions.AI.Evaluation richiede autorizzazione ai crediti e budget positivo.

Un run non modifica né pubblica il prodotto. La proposta attende revisione umana e può aggiornare solo il draft con la revisione esatta ancora valida.