Три правила дружественности к KV Cache

Три практических вывода из механизма KV Cache:

  1. системный промпт и определения инструментов, однажды зафиксированные, менять нельзя — даже пробел инвалидирует весь кэш;
  2. динамическую информацию (время, состояние) всегда добавлять в конец контекста новым сообщением;
  3. стандартный формат API — не склеивать сообщения вручную.

Аналогия с готовкой: если первые шаги совпадают — продолжаем с того же места; изменился один шаг — всё заново.

Связано: KV Cache, Prompt Cache, Строка состояния агента