Наблюдаемость агента

Наблюдаемость — способность судить о внутреннем состоянии системы по внешним сигналам (журналы, метрики, трассировки). Трассировка (trace) — одному запуску задачи; каждый вызов LLM, инструмента, поиска — span с входом, выходом, временем, токенами, ошибками; отношения родитель-потомок образуют дерево. Стандарты: OpenTelemetry + OpenInference. Самое ценное применение — возврат данных в оценочные активы: неудачные продакшн-случаи → деперсонализация → новые примеры оценочного набора и регрессионные тесты. Наблюдаемость отвечает за «увидеть», оценка — закрепить это в проверяемых стандартах.

Связано: От бенчмарка к улучшениям, Три уровня системы оценки