Разбиение документов

Разбиение (chunking) режет длинные документы на фрагменты, пригодные для поиска: у эмбеддинг-моделей ограничен вход, а цель поиска — вставить в контекст только релевантное. Три стратегии: фиксированный размер с перекрытием (просто, но режет структуру); рекурсивное по естественным границам (стандартный выбор); семантическое (разрез там, где падает сходство соседних предложений). Типичный размер 256-1024 токенов, перекрытие 10-20%. Неотъемлемый недостаток: фрагмент теряет связь с исходным контекстом — это лечит контекстно-зависимый поиск.

Связано: RAG, Контекстно-зависимый поиск, Плотный эмбеддинг