Метрики оценки агентов

Метрики процесса: доля допустимых действий, точность вызова инструментов, эффективность пути (шаги, избыточность, откаты), стоимость и задержка. Метрики результата: доля успеха, Pass@k (хотя бы одна из k попыток успешна — потолок возможностей), Pass^k (все k успешны — стабильность и надёжность), Best@k. Разница критична: при Pass@1=0,6 Pass@5≈99%, а Pass^5≈7,8%. Безопасность — нулевая терпимость: одно серьёзное нарушение отменяет всю оценку (пункт вето). Двойное покрытие: траектория («говорил и делал») и конечный результат («что стало с системой») — оба необходимы.

Связано: Три уровня системы оценки, LLM-as-a-Judge, Статистическая значимость оценки