Bases vectorielles : Chroma et FAISS

Une base vectorielle conserve vos segments vectorisés et trouve ceux qui ressemblent le plus à un vecteur de requête. C’est le moteur de recherche au cœur de RAG. Deux choix populaires sont Chroma et FAISS.

Chroma.from_documents vectorise vos segments et les indexe en un seul appel. Transmettez les documents et un objet de vectorisation. Chroma renvoie une base dans laquelle vous pouvez effectuer immédiatement des recherches.

Transmettez persist_directory afin que l’index soit enregistré sur disque et survive aux redémarrages. Rechargez-le plus tard en construisant Chroma avec le même répertoire et le même objet de vectorisation, ce qui évite le coût d’une nouvelle vectorisation.

Effectuez une requête avec similarity_search(query, k=4). Cette opération vectorise la requête, trouve les k segments les plus proches et les renvoie sous forme de documents. k détermine le nombre de passages récupérés.

Utilisez similarity_search_with_score pour obtenir également une valeur de distance pour chaque résultat. Une distance plus faible indique une plus grande similarité. Ces valeurs vous aident à écarter les correspondances faibles avant de les transmettre au LLM.

FAISS est une bibliothèque très performante de recherche vectorielle. Elle est extrêmement rapide et économe en mémoire, ce qui la rend idéale pour les grands index locaux sans serveur distinct.

L’interface de programmation ressemble à celle de Chroma : FAISS.from_documents crée l’index. FAISS conserve l’index en mémoire ; il est donc idéal pour les recherches principalement en lecture au sein du processus.

Faites persister un index FAISS avec save_local, puis rechargez-le avec load_local. Le rechargement nécessite allow_dangerous_deserialization=True, car l’index utilise pickle.

Une recherche par similarité simple peut renvoyer quatre segments presque identiques. Vous souhaitez parfois des résultats diversifiés qui couvrent différents aspects de la réponse. C’est là que MMR est utile.

La pertinence marginale maximale (MMR) établit un équilibre entre pertinence et diversité en sélectionnant des segments pertinents, mais non redondants. Utilisez search_type="mmr" par l’intermédiaire de l’interface de récupération.

Chroma est convivial, persistant et adapté aux prototypes et aux petites applications. FAISS est plus rapide à grande échelle et idéal pour les recherches en mémoire. Les deux exposent similarity_search et as_retriever, ce qui facilite le changement de base.

Vérifiez vos connaissances sur les bases vectorielles.

Vous avez créé des bases vectorielles avec Chroma.from_documents (en utilisant persist_directory) et FAISS.from_documents, effectué des recherches avec similarity_search(query, k=4), puis enregistré et rechargé les deux bases. Vous avez utilisé as_retriever avec MMR pour obtenir des résultats diversifiés et appris quand choisir chaque base.