Плотный эмбеддинг

Плотный эмбеддинг отображает текст в векторное пространство, где семантически близкое оказывается близко. Сходство измеряется косинусом угла (направление важно, длина — нет). Эволюция: Word2Vec — статические векторы слов, не различает многозначность («bank»); BERT и BGE-M3 — контекстные представления, одно слово в разных контекстах получает разные векторы. Индексы ANN: ANNOY (дерево, быстрый, без инкрементальных обновлений) и HNSW (граф, инкрементальный, точнее).

Связано: Разреженный поиск BM25, Гибридный поиск, RAG