Метрики оценки агентов

Метрики процесса:

• доля допустимых действий;
• точность вызова инструментов;
• эффективность пути (шаги, избыточность, откаты);
• стоимость и задержка.

Метрики результата:

• доля успеха;
• Pass@k — хотя бы одна из k попыток успешна: потолок возможностей;
• Pass^k — все k успешны: стабильность и надёжность;
• Best@k.

Разница критична: при Pass@1=0,6 Pass@5≈99%, а Pass^5≈7,8%.

Безопасность — нулевая терпимость: одно серьёзное нарушение отменяет всю оценку (пункт вето).

Двойное покрытие: траектория («говорил и делал») и конечный результат («что стало с системой») — оба необходимы.

Связано: Три уровня системы оценки, LLM-as-a-Judge, Статистическая значимость оценки