Comment évaluer un Agent IA avant lancement

Définissez résultat, outils autorisés, actions interdites, preuves, coût, latence, approbations et condition d'arrêt avant la métrique. Une réponse fluide peut accompagner une écriture erronée.

Incluez tâches courantes, cas limites, échecs passés, refus, contenu hostile, timeouts, retrieval vide et reprise ; rattachez chaque cas à une révision exacte.

Utilisez des checks déterministes pour les règles exactes et des évaluateurs calibrés pour la qualité. Une personne décide des critères ambigus, changements sensibles et du lancement.

Quelques chats réussis sont des exemples, pas un jeu de données. Une moyenne peut masquer une action irréversible ; les opérations critiques exigent des cas précis de refus et d'approbation.

Un LLM judge n'est pas la vérité terrain. Calibrez-le avec des labels humains, gardez des checks exacts et ne transformez jamais une erreur de modèle, billing ou infrastructure en pass.

Evaluation ne remplace ni contrôle de sécurité, ni monitoring, ni validation client. Gardez ces preuves séparées.

Prostir dispose d'un module Evaluations implémenté et partagé par Agent, Skill et Company, avec cas typés, profils, runs, résultats, signaux et propositions sous le produit exact.

Les preuves n'entrent qu'après sélection et consentement explicites. Les checks déterministes n'ont pas besoin de judge ; Microsoft.Extensions.AI.Evaluation exige une autorisation de crédits et un budget positif.

Un run ne modifie ni ne publie le produit. La proposition attend une revue humaine et ne peut mettre à jour que le brouillon dont la révision exacte est encore valide.