Pourquoi le découpage naïf nuit à la recherche

La segmentation consiste à diviser les documents en fragments plus petits avant de les vectoriser dans un magasin de vecteurs. La manière dont vous segmentez détermine le contexte disponible lors de la récupération. Une mauvaise segmentation est l'une des causes les plus courantes et les plus importantes des échecs des systèmes RAG.

Imaginez un document qui indique : 'La politique de remboursement est de 30 jours à compter de l'achat. Les clients doivent joindre le reçu original.' Si un séparateur de taille fixe coupe le texte après « achat. », ces deux phrases se retrouvent dans des fragments différents. Une requête sur la politique de remboursement peut ne récupérer que la première moitié — le modèle est alors incapable de mentionner l'exigence concernant le reçu.

Les documents utilisent souvent des en-têtes de section pour fournir du sens. Prenez un tableau intitulé 'Tarifs des forfaits Entreprise', suivi de lignes de nombres. Si l'en-tête et le tableau se retrouvent dans des fragments différents, le fragment récupéré contenant le tableau présente des nombres sans libellé — le modèle ne peut pas répondre correctement à la question 'Quel est le tarif Entreprise ?'.

La segmentation de taille fixe divise le texte tous les N caractères ou jetons, quels que soient les limites des phrases. Cette méthode est rapide et simple, mais elle coupe souvent les phrases en plein milieu. Un fragment qui se termine par 'The model was trained on' et le fragment suivant qui commence par 'a dataset of 500 billion tokens' n'ont chacun aucun sens sans l'autre.

Une solution courante consiste à ajouter un chevauchement entre fragments — en répétant les N derniers jetons d'un fragment au début du suivant. Cela aide lorsque les phrases sont séparées, mais introduit de la redondance et peut perturber les systèmes de récupération lorsque deux fragments très similaires sont tous deux récupérés. Le chevauchement est un pansement, pas un remède aux problèmes structurels de segmentation.

Vous pouvez mesurer à quelle fréquence votre segmentation nuit à la récupération en créant un petit ensemble d'évaluation de référence : une liste de questions associées à des passages sources corrects connus. Vérifiez ensuite à quelle fréquence le passage correct figure parmi les k premiers fragments récupérés. Un hit rate faible révèle souvent des problèmes de segmentation avant même que vous n'examiniez la qualité de la génération.

Les fichiers de code, le JSON et les tableaux possèdent des unités logiques — fonctions, objets, lignes de tableau — qui ne doivent pas être séparées. Diviser la définition d'une fonction Python entre deux fragments signifie qu'aucun des deux ne peut être compris indépendamment. Un système de récupération qui trouve le second fragment voit du code sans arguments et sans contexte.

Les recherches sur les LLM montrent le phénomène de 'perte au milieu' : lorsque de nombreux fragments sont récupérés et insérés dans une invite, le modèle prête attention au contenu proche du début et de la fin, mais tend à ignorer le milieu. Une mauvaise segmentation qui produit de nombreux petits fragments de faible qualité aggrave ce phénomène en diluant le signal pertinent.

Pour un diagnostic rapide, affichez un échantillon aléatoire de vos fragments et lisez-les. Demandez-vous : Ce fragment est-il pertinent pris isolément ? Si un utilisateur posait une question, le modèle pourrait-il y répondre à partir de ce seul fragment ? Les fragments qui contiennent des pronoms sans antécédent défini (« Il a dit que... »), du code incomplet ou des nombres sans contexte sont des signaux d'alerte.

Les fragments très volumineux nuisent à la précision de la récupération. Un fragment de 2 000 jetons portant sur un vaste sujet peut correspondre à de nombreuses requêtes, mais fournir trop de contenu parasite au LLM. Le modèle doit trouver une aiguille dans une botte de foin au sein de ce fragment. Des fragments plus petits et ciblés améliorent la précision, au prix du risque de manquer une partie du contexte environnant.

Parmi les meilleures solutions de remplacement à la segmentation naïve de taille fixe figurent : la segmentation aux limites des phrases, qui ne coupe jamais une phrase en son milieu, la segmentation sémantique, qui sépare le texte aux frontières entre sujets, la segmentation parent-enfant, qui préserve un contexte plus large, et la segmentation adaptée aux documents, qui respecte les fonctions de code, les balises HTML et les en-têtes Markdown. Les leçons suivantes présentent chacune de ces méthodes.

Dans cette leçon, vous avez appris que : la segmentation naïve de taille fixe brise les limites des phrases et des sections, le chevauchement constitue une solution partielle, mais ajoute de la redondance et la qualité des fragments détermine directement le hit rate de la récupération. Nous allons maintenant explorer la segmentation sémantique, qui divise le texte aux frontières naturelles entre sujets à l'aide de la similarité des représentations vectorielles.