Як оцінити AI-агента перед запуском

До метрик опиши потрібний результат, дозволені tools, заборонені дії, джерело доказів, межу вартості й затримки, точки approval та умову зупинки. Гарна відповідь може приховувати неправильний tool call або частковий запис.

Додай звичайні задачі, складні винятки, минулі збої, denied actions, застарілий чи ворожий контент, timeout tools, порожній пошук і відновлення. Кожен case прив'язуй до точної ревізії продукту.

Для чітких правил використовуй deterministic checks, для якості — відкалібровані judge evaluators. Людина все одно приймає неоднозначні критерії, важливі зміни й остаточне рішення про запуск.

Кілька успішних чатів — це приклади, не dataset. Середнє приховує одну незворотну помилку, тому consequential actions потребують точних denial і approval cases.

LLM judge не є ground truth. Звіряй його з людськими оцінками, залишай deterministic checks для точних правил і не перетворюй помилку моделі, billing чи infrastructure на pass.

Evaluation не замінює security testing, production monitoring або customer validation. Тримай ці докази окремо, навіть якщо вони використовують спільні cases чи traces.

У Prostir реалізований один спільний модуль Evaluations для Agent, Skill і Team. Він зберігає typed cases, evaluator profiles, обмежені runs, results, failure signals та improvement proposals біля точного власника продукту.

Доказ потрапляє туди лише після явного вибору й consent. Deterministic checks не потребують judge; перевірки через Microsoft.Extensions.AI.Evaluation вимагають прямого дозволу на model credits і позитивного budget.

Run ніколи не змінює й не публікує продукт. Proposal чекає людського рішення, а застосування ще раз перевіряє точну ревізію й змінює лише draft.