Самодистилляция OPSD
Что делать без более сильного учителя: одна модель играет и учителя, и ученика — разница только в контексте. Учитель видит привилегированную информацию (эталонный ответ, документацию) и «объясняет по готовому ответу» (это проще, чем решить самому), выдавая пословное целевое распределение; ученик видит только задачу и подтягивается к учителю на собственных траекториях. Источники привилегированной информации шире проверяемой награды. Граница: потолок — способности самого ученика; если модель не может внятно объяснить решение даже с ответом в руках — сигнала нет.