Плотный эмбеддинг

Плотный эмбеддинг отображает текст в векторное пространство, где семантически близкое оказывается близко. Сходство измеряется косинусом угла (направление важно, длина — нет).

Эволюция:

• Word2Vec — статические векторы слов, не различает многозначность («bank»);
• BERT и BGE-M3 — контекстные представления: одно слово в разных контекстах получает разные векторы.

Индексы ANN:

• ANNOY — дерево, быстрый, без инкрементальных обновлений;
• HNSW — граф, инкрементальный, точнее.

Связано: Разреженный поиск BM25, Гибридный поиск, RAG