Три правила дружественности к KV Cache
Три практических вывода из механизма KV Cache:
- системный промпт и определения инструментов, однажды зафиксированные, менять нельзя — даже пробел инвалидирует весь кэш;
- динамическую информацию (время, состояние) всегда добавлять в конец контекста новым сообщением;
- стандартный формат API — не склеивать сообщения вручную.
Аналогия с готовкой: если первые шаги совпадают — продолжаем с того же места; изменился один шаг — всё заново.
Связано: KV Cache, Prompt Cache, Строка состояния агента