Indexer : créer et stocker les segments

Après avoir chargé et segmenté vos documents, vous arrivez à l’étape d’indexation : convertir les éléments de texte en embeddings vectoriels et les stocker dans une base de données vectorielle interrogeable. Il s’agit de la dernière étape hors ligne avant de pouvoir répondre aux requêtes. La qualité de vos embeddings ainsi que l’efficacité de votre stratégie de stockage et d’indexation déterminent directement la rapidité et la précision de votre système RAG au moment des requêtes.

L’approche la plus courante consiste à appeler l’API d’embeddings d’OpenAI avec le texte de vos éléments. Le modèle text-embedding-3-small produit des vecteurs de 1 536 dimensions et coûte 0,02 $ par million de jetons, ce qui est extrêmement peu coûteux pour la plupart des charges de travail. Envoyez plusieurs textes dans un seul appel d’API (jusqu’à 2 048 entrées) afin de maximiser le débit. La réponse contient un vecteur d’embedding par texte d’entrée, dans le même ordre.

Lors de l’indexation de milliers d’éléments, l’efficacité est importante. Traitez les éléments par lots de 100 à 500 afin d’équilibrer le débit et l’utilisation de la mémoire. Suivez votre position pour pouvoir reprendre après un échec sans générer à nouveau les embeddings déjà traités. Consignez régulièrement la progression. Pour 100 000 éléments traités par lots de 500, vous effectuerez 200 appels d’API, ce qui prend généralement quelques minutes.

L’API d’embeddings d’OpenAI applique des limites de débit mesurées en jetons par minute (TPM). Les tâches d’indexation importantes atteignent ces limites et reçoivent une RateLimitError. Implémentez un retrait exponentiel avec temporisation aléatoire : lorsqu’une erreur de limite de débit se produit, attendez un bref intervalle aléatoire avant de réessayer, en doublant l’attente à chaque échec suivant. Cela répartit les nouvelles tentatives et empêche tous les processus parallèles de solliciter l’API au même moment.

Après avoir généré les représentations vectorielles, insérez-les dans le magasin de vecteurs. L'insertion ou la mise à jour consiste à insérer de nouveaux vecteurs ou à mettre à jour ceux qui existent déjà si le même ID existe — le processus est conçu pour être idempotent. Dans Pinecone, chaque enregistrement inséré ou mis à jour contient l'ID du vecteur, les valeurs de la représentation vectorielle et un dictionnaire de métadonnées regroupant les champs que vous souhaitez filtrer ou afficher ultérieurement. Effectuez les insertions ou mises à jour par lots de 100 enregistrements maximum par appel afin d'optimiser le débit.

Avec pgvector, vous insérez directement les représentations vectorielles dans une table PostgreSQL à l'aide du SQL standard. Le type de données vector accepte une liste Python de nombres flottants sérialisée sous forme de chaîne. Après avoir inséré toutes les lignes, créez un index HNSW pour effectuer rapidement des requêtes approximatives de plus proches voisins. L'indexation d'une table existante contenant des millions de lignes peut prendre plusieurs minutes ; créez donc l'index après l'insertion en masse plutôt qu'avant.

HNSW (Hierarchical Navigable Small World) est le type d'index qui permet d'effectuer rapidement une recherche approximative de plus proches voisins. Contrairement à la recherche par force brute (qui compare le vecteur de requête à chaque vecteur stocké), HNSW construit une structure de graphe multicouche qui réduit l'espace de recherche. Le paramètre m contrôle le nombre de connexions de chaque nœud (une valeur plus élevée améliore le rappel, mais utilise davantage de mémoire), tandis que ef_construction contrôle la qualité de l'index lors de sa création.

Les métadonnées stockées avec chaque vecteur permettent une récupération filtrée très puissante. Concevez votre schéma de métadonnées avant l'indexation : l'ajout de nouveaux champs ultérieurement nécessite une réindexation. Incluez les champs sur lesquels vous effectuerez des filtres (service, type de document, plage de dates), ceux que vous afficherez dans les citations (titre, page, auteur) et ceux qui sont utiles au débogage (index du segment, nombre total de segments, date d'indexation). Gardez des valeurs de métadonnées simples : les chaînes, les nombres et les booléens s'indexent et se filtrent efficacement, contrairement aux objets imbriqués.

L'indexation d'un corpus volumineux peut prendre des heures. Un plantage en cours de traitement fait perdre tous les progrès accomplis. Implémentez un fichier de point de reprise qui indique quels segments ont été indexés avec succès. Au redémarrage, ignorez les segments déjà indexés et reprenez là où vous vous étiez arrêté. La tâche d'indexation devient ainsi idempotente et peut être reprise en toute sécurité. Stockez le point de reprise sous forme d'ensemble d'ID de segments traités dans un fichier JSON ou une table de base de données.

Après l'indexation, vérifiez que tous les segments ont bien été ajoutés au magasin de vecteurs. Comparez le nombre de segments produits par votre outil de découpage au nombre de vecteurs indiqué par l'index. Interrogez l'index avec le texte d'un document connu et vérifiez que le résultat attendu apparaît parmi les 5 premiers. Exécutez quelques requêtes connues de votre jeu de tests de référence et vérifiez que la précision atteint le niveau attendu. Ne supposez jamais que l'index est complet sans le vérifier.

Pour les données sensibles du point de vue de la confidentialité qui ne peuvent pas quitter votre infrastructure, utilisez des modèles de représentation vectorielle hébergés localement. La bibliothèque sentence-transformers fournit des modèles de haute qualité tels que all-MiniLM-L6-v2 (384 dimensions, 22 Mo, très rapide) et bge-large-en-v1.5 (1024 dimensions, meilleure qualité). Exécutez-les sur le CPU pour les charges de travail modérées ou sur le GPU pour les tâches d'indexation volumineuses. Les modèles locaux éliminent les coûts d'API et l'exfiltration des données, mais nécessitent de gérer les fichiers de modèles et les ressources de calcul.

Dans cette leçon, vous avez appris à générer des représentations vectorielles par lots avec l'API OpenAI et à gérer les limites de débit avec une temporisation exponentielle, à insérer ou mettre à jour des vecteurs dans Pinecone et pgvector avec des métadonnées, à créer des index HNSW pour effectuer rapidement des recherches approximatives de plus proches voisins, ainsi que les bonnes pratiques de production, notamment la reprise à partir de points de contrôle, la conception du schéma de métadonnées et la vérification de l'exhaustivité de l'index. Nous allons maintenant créer le pipeline de requête qui récupère les segments et génère des réponses étayées.