Три правила дружественности к KV Cache

Три практических вывода из механизма KV Cache: (1) системный промпт и определения инструментов, однажды зафиксированные, менять нельзя — даже пробел инвалидирует весь кэш; (2) динамическую информацию (время, состояние) всегда добавлять в конец контекста новым сообщением; (3) использовать стандартный формат API, не склеивать сообщения вручную. Аналогия с готовкой: если первые шаги совпадают — продолжаем с того же места; изменился один шаг — всё заново.

Связано: KV Cache, Prompt Cache, Строка состояния агента