Обучающие сигналы из траекторий

Отправная точка эволюции — не обобщение, а оценка.

Трёхуровневая проверка:

проверяющий результат — тесты, состояние БД: «задача действительно выполнена?»;
проверяющий процесс — правила, полномочия: «разрешённым ли способом?»;
проверяющий качество — рубрика LLM: «надлежащим ли образом?».

Чем ниже уровень, тем больше опоры на код; языковой модели — только трудноформализуемое.

Правильный результат ≠ правильный процесс: удаление упавших тестов тоже даёт зелёные тесты.

Результат проверки — структурированный диагноз, а не скаляр. Сам проверяющий нуждается в калибровке.