Jak oceniać Agentów AI przed startem

Zdefiniuj rezultat, dozwolone tools, zakazane działania, źródła, koszt, opóźnienie, zatwierdzenia i warunek zatrzymania przed wyborem metryki. Płynna odpowiedź może ukrywać błędny zapis.

Dodaj zwykłe zadania, edge cases, wcześniejsze błędy, odmowy, wrogie treści, timeouty, pusty retrieval i recovery; każdy przypadek przypisz do dokładnej rewizji.

Stosuj deterministyczne checks dla ścisłych reguł i kalibrowane evaluatory dla jakości. Człowiek decyduje o niejednoznacznych kryteriach, zmianach wysokiego ryzyka i starcie.

Kilka udanych rozmów to przykłady, nie dataset. Średnia może ukryć jedno nieodwracalne działanie; krytyczne zapisy wymagają dokładnych testów odmowy i zatwierdzenia.

LLM judge nie jest ground truth. Kalibruj go etykietami ludzi, zachowaj ścisłe checks i nigdy nie zamieniaj błędu modelu, billingu lub infrastruktury w pass.

Evaluation nie zastępuje testów bezpieczeństwa, monitoringu ani walidacji klienta. Zachowaj oddzielne tory dowodowe.

Prostir ma jeden wdrożony moduł Evaluations wspólny dla Agent, Skill i Team, z typowanymi przypadkami, profilami, runs, wynikami, sygnałami błędów i propozycjami pod dokładnym produktem.

Dowody trafiają tylko po jawnej selekcji i zgodzie. Deterministyczne checks nie potrzebują judge; Microsoft.Extensions.AI.Evaluation wymaga autoryzacji kredytów i dodatniego budżetu.

Run nigdy nie zmienia ani nie publikuje produktu. Propozycja czeka na człowieka i może zmienić tylko draft, którego dokładna rewizja nadal jest aktualna.