Анализ стоимости агента

Стоимость агента нелинейна из-за накопления контекста: на шаге 1 отправляется 1000 токенов, на шаге 2 — 2000, на шаге 3 — 3000, суммарно 6000 вместо 3000. Усиливающие факторы: токены размышления (оплачиваются, но не показываются), большие результаты инструментов (платятся на каждом последующем шаге), неверный путь (10 шагов вместо 3). Три главных рычага оптимизации: повторное использование KV Cache (-30-60% входной стоимости), сжатие контекста, многоуровневая маршрутизация моделей. Плюс мониторинг стоимости и бюджет на задачу.

Связано: KV Cache, Сжатие контекста, Три уровня системы оценки