KL - mode-seeking против mass-covering

KL-дивергенция несимметрична, и направление важно.

• Обратная KL KL(πθ‖πref) штрафует уход политики туда, где референсная модель даёт почти ноль, — она mode-seeking: концентрирует вероятность на нескольких лучших пиках и отбрасывает остальное.
• Прямая KL — mass-covering: заставляет охватывать все паттерны референса.

Этим объясняется, почему ответы после RL звучат увереннее и менее разнообразно: модель сохраняет стратегии высокого качества и решительно отбрасывает остальные.

Максимальное правдоподобие SFT — чистый mass-covering.

Связано: RLHF, SFT запоминает - RL обобщает