Разбиение документов на фрагменты и создание векторных представлений

В длинном PDF одновременно раскрывается множество тем. Чтобы выполнять точный поиск, сначала разделите его на небольшие части, называемые фрагментами.

Хороший фрагмент содержит одну связанную мысль: например, один или два абзаца. В слишком большом фрагменте ответ теряется, а слишком маленький не сохраняет окружающий контекст.

Самый простой способ — разрезать текст через фиксированное число символов или токенов. Это быстро, но предложение может оказаться разделённым пополам.

Чтобы не разделять одну мысль, сделайте так, чтобы фрагменты имели перекрытие. Повторение последних строк помогает сохранить контекст на границах фрагментов.

Более продвинутые средства разбиения сначала разделяют текст по абзацам или заголовкам. Сохранение структуры помогает каждому фрагменту раскрывать одну ясную тему.

Для поиска нужны числа, а не слова. Векторное представление преобразует каждый фрагмент в плотный вектор, отражающий его смысл.

Векторные представления размещают похожие тексты рядом. Два фрагмента об одной и той же идее оказываются рядом друг с другом в векторном пространстве.

Вы передаёте текст в модель векторных представлений и получаете список чисел с плавающей точкой. Одна и та же модель должна кодировать и фрагменты, и запросы.

Пропустите каждый фрагмент через модель, чтобы построить его вектор. Для ускорения можно одним вызовом encode закодировать весь список сразу.

У каждого вектора есть фиксированная длина — его размерность. Небольшая модель может выдавать 384 числа, а более крупные — 768 и больше.

Свяжите каждый вектор с исходным текстом и источником. Позже Вы будете выполнять поиск по вектору, но показывать удобный для чтения фрагмент.

Вы разделяете документы на фрагменты, при необходимости перекрывающиеся, а затем преобразуете каждый в векторное представление. Храните текст и вектор вместе для последующего поиска. ✅