Разреженный поиск BM25
Разреженный поиск основан на точном совпадении ключевых слов (мешок слов). BM25 улучшает TF-IDF двумя дополнениями:
- насыщение частоты термина — каждое следующее вхождение даёт всё меньший прирост (параметр k1);
- нормализация длины документа (параметр b).
Редкие слова весят больше (IDF).
Сила — точные имена, технические коды, термины. Слабость — не понимает синонимы («kitty» не найдёт «cat»).
Обучаемые варианты (SPLADE, BGE-M3 sparse) добавляют нейросетевые веса терминам.
Связано: Плотный эмбеддинг, Гибридный поиск