Наблюдаемость агента

Наблюдаемость — способность судить о внутреннем состоянии системы по внешним сигналам (журналы, метрики, трассировки).

Трассировка (trace) — одному запуску задачи; каждый вызов LLM, инструмента, поиска — span с входом, выходом, временем, токенами, ошибками; отношения родитель-потомок образуют дерево. Стандарты: OpenTelemetry + OpenInference.

Самое ценное применение — возврат данных в оценочные активы: неудачные продакшн-случаи → деперсонализация → новые примеры оценочного набора и регрессионные тесты.

Наблюдаемость отвечает за «увидеть», оценка — закрепить это в проверяемых стандартах.

Связано: От бенчмарка к улучшениям, Три уровня системы оценки