Разбиение документов

Разбиение (chunking) режет длинные документы на фрагменты, пригодные для поиска: у эмбеддинг-моделей ограничен вход, а цель поиска — вставить в контекст только релевантное.

Три стратегии:

• фиксированный размер с перекрытием — просто, но режет структуру;
• рекурсивное по естественным границам — стандартный выбор;
• семантическое — разрез там, где падает сходство соседних предложений.

Типичный размер 256–1024 токенов, перекрытие 10–20%.

Неотъемлемый недостаток: фрагмент теряет связь с исходным контекстом — это лечит контекстно-зависимый поиск.

Связано: RAG, Контекстно-зависимый поиск, Плотный эмбеддинг