Charger, découper et plonger des documents

Avant qu’un LLM puisse répondre à partir de vos documents, vous devez les charger, les segmenter et les vectoriser. Cette leçon présente cette chaîne de préparation des données, à la base de tout système de génération augmentée par récupération.

PyPDFLoader lit un PDF et renvoie une liste d’objets document, un par page. Chaque document possède page_content (le texte) et metadata (la source et le numéro de page).

Les pages entières sont souvent trop volumineuses pour être vectorisées ou tenir dans une invite. La segmentation découpe le texte en segments plus petits, qui se vectorisent correctement et permettent à la recherche de renvoyer uniquement le passage pertinent, plutôt qu’une page entière.

Le segmenteur recommandé est RecursiveCharacterTextSplitter. Il essaie d’abord de découper selon les paragraphes, puis selon les phrases et enfin selon les mots, en conservant la cohérence sémantique des segments plutôt que de couper au milieu d’un mot.

chunk_size définit le nombre maximal de caractères par segment ; chunk_overlap répète une partie du texte entre les segments voisins afin de ne pas perdre le contexte aux frontières. Une segmentation 1000/200 constitue un point de départ courant.

Les petits segments permettent une récupération précise, mais risquent de manquer le contexte environnant. Les grands segments conservent le contexte, mais diluent la pertinence et consomment davantage de jetons. Un chevauchement représentant 10 à 20 % de la taille du segment constitue une bonne valeur par défaut pour relier les frontières.

Une vectorisation transforme le texte en un vecteur de nombres de longueur fixe qui en capture le sens. Les textes similaires produisent des vecteurs proches. C’est ce qui permet d’effectuer une recherche par similarité sémantique plutôt que par mots-clés.

Créez des vectorisations avec OpenAIEmbeddings. Le modèle text-embedding-3-small est économique et efficace. embed_query vectorise une chaîne ; embed_documents vectorise une liste.

Vectorisez tous vos segments en une seule fois. Chaque segment devient un vecteur que vous stockerez ensuite dans une base de données vectorielle pour effectuer rapidement des recherches par similarité.

Les vectorisations sont facturées par jeton. Estimez le nombre total de jetons de tous les segments, puis multipliez-le par le prix pour 1 000 jetons. Compter les jetons avant la vectorisation évite les factures imprévues sur les grands corpus.

Le processus de préparation consiste à charger les documents, à les segmenter en segments qui se chevauchent, à vectoriser chaque segment et, dans la prochaine leçon, à les stocker. Une bonne segmentation et une attention portée aux coûts déterminent ici la qualité et le prix de l’ensemble du système RAG.

Vérifiez vos connaissances sur la préparation des données.

Vous avez utilisé PyPDFLoader pour charger des documents, RecursiveCharacterTextSplitter avec chunk_size et chunk_overlap pour les segmenter, ainsi que OpenAIEmbeddings pour transformer les segments en vecteurs. Vous avez également appris à estimer le coût de vectorisation par jeton avant de traiter un grand corpus.