Самодистилляция OPSD

Что делать без более сильного учителя: одна модель играет и учителя, и ученика — разница только в контексте.

Учитель видит привилегированную информацию (эталонный ответ, документацию) и «объясняет по готовому ответу» (это проще, чем решить самому), выдавая пословное целевое распределение.
Ученик видит только задачу и подтягивается к учителю на собственных траекториях.

Источники привилегированной информации шире проверяемой награды.

Граница: потолок — способности самого ученика; если модель не может внятно объяснить решение даже с ответом в руках — сигнала нет.