Анализ стоимости агента

Стоимость агента нелинейна из-за накопления контекста: на шаге 1 отправляется 1000 токенов, на шаге 2 — 2000, на шаге 3 — 3000; суммарно 6000 вместо 3000.

Усиливающие факторы:

• токены размышления — оплачиваются, но не показываются;
• большие результаты инструментов — платятся на каждом последующем шаге;
• неверный путь — 10 шагов вместо 3.

Три главных рычага оптимизации:

1. повторное использование KV Cache (−30–60% входной стоимости);
2. сжатие контекста;
3. многоуровневая маршрутизация моделей.

Плюс мониторинг стоимости и бюджет на задачу.

Связано: KV Cache, Сжатие контекста, Три уровня системы оценки