Como avaliar Agents de IA antes do lançamento

Defina resultado, tools permitidas, ações proibidas, prova, custo, latência, aprovações e condição de paragem antes da métrica. Uma resposta fluida pode esconder uma escrita errada.

Inclua tarefas comuns, extremos, falhas passadas, recusas, conteúdo hostil, timeouts, pesquisa vazia e recuperação; ligue cada caso a uma revisão exata.

Use checks determinísticos para regras exatas e avaliadores calibrados para qualidade. Uma pessoa decide critérios ambíguos, mudanças importantes e lançamento.

Alguns chats certos são exemplos, não dataset. Uma média esconde uma ação irreversível; writes de alto impacto precisam de casos de recusa e aprovação.

Um LLM judge não é ground truth. Calibre com humanos, mantenha checks exatos e não converta falha de modelo, billing ou infraestrutura em pass.

Evaluation não substitui segurança, monitorização ou validação de cliente. Mantenha as provas separadas.

O Prostir tem um módulo Evaluations implementado para Agent, Skill e Team, com casos tipados, perfis, runs, resultados, sinais e propostas no produto exato.

A evidência entra apenas com seleção e consentimento. Checks determinísticos dispensam judge; Microsoft.Extensions.AI.Evaluation exige autorização de créditos e orçamento positivo.

Um run nunca altera nem publica. A proposta espera revisão humana e só pode atualizar o draft se a revisão exata ainda estiver atual.