Pourquoi la recherche en deux étapes fonctionne

Tout système de recherche doit faire face à un compromis fondamental : le rappel mesure le nombre de documents pertinents que vous trouvez (en avez-vous oublié ?), tandis que la précision mesure l'exactitude des premiers résultats (combien de documents récupérés sont réellement pertinents ?). Maximiser les deux simultanément est coûteux en calcul. Les retrievers rapides sacrifient la précision au profit du rappel ; les classeurs précis sacrifient la vitesse au profit de l'exactitude.

Les deux types de modèles au cœur de la recherche en deux étapes diffèrent par la manière dont ils examinent la requête et le document. Un bi-encodeur encode séparément la requête et chaque document, puis mesure la similarité entre leurs vecteurs : il est rapide, mais limité par cet encodage indépendant. Un cross-encodeur voit la requête et le document concaténés comme une seule entrée, ce qui permet une interaction approfondie entre eux : il est très précis, mais sa complexité est en O(n) par rapport à l'ensemble des candidats.

La première étape consiste en un retriever rapide, généralement un bi-encodeur associé à un index de plus proches voisins approximatifs ou à un index BM25, qui récupère un vaste ensemble de candidats (50 à 200 documents) avec un rappel élevé, mais une précision modérée. L'objectif n'est pas d'être exact, mais de ne manquer aucun document pertinent. Nous ratissons large et acceptons quelques faux positifs, sachant que la deuxième étape les éliminera.

La deuxième étape prend l'ensemble de candidats de l'étape 1 et réévalue chaque paire (requête, document) à l'aide d'un cross-encodeur qui lit les deux éléments ensemble. Comme il ne traite que 50 à 200 candidats, et non l'ensemble du corpus, il peut se permettre cet encodage conjoint coûteux. L'attention approfondie du cross-encodeur sur l'entrée concaténée le rend bien plus précis qu'un bi-encodeur pour estimer la pertinence réelle.

La conception en deux étapes exploite une asymétrie essentielle : la recherche ANN rapide de la première étape s'étend à des millions de documents en quelques millisecondes, tandis que le cross-encodeur précis de la seconde étape ne fonctionne que sur le petit ensemble de candidats. Vous obtenez la capacité de mise à l'échelle de la recherche approximative et la précision du calcul conjoint exact. Le pipeline global est à la fois rapide et très précis, ce qu'aucune des deux étapes ne permet d'obtenir seule.

Dans un pipeline en deux étapes typique, l'étape 1 (recherche ANN vectorielle sur 1 million de documents) prend 5 à 20 ms ; l'étape 2 (cross-encodeur sur 100 candidats) prend 100 à 500 ms selon la longueur des documents et le matériel. Le budget total de latence est de 150 à 600 ms, ce qui convient à la plupart des applications. L'accélération par GPU lors de l'étape 2 peut réduire le reclassement à moins de 30 ms pour les documents courts, rendant le pipeline compétitif en latence avec une recherche en une seule étape dans les applications sensibles à la latence.

La taille de l'ensemble de candidats de la première étape est un hyperparamètre essentiel. Si elle est trop petite (10, par exemple), des documents pertinents peuvent être manqués avant même le début du reclassement. Si elle est trop grande (500, par exemple), la latence de l'étape 2 explose. La courbe du rappel à N — le nombre de documents pertinents capturés pour différentes valeurs de N — vous aide à faire ce choix. Le meilleur compromis se situe généralement entre 50 et 150 candidats, là où le rappel est presque maximal tout en conservant une latence raisonnable.

La configuration en deux étapes la plus performante associe un retriever hybride (dense + BM25) pour la première étape et un cross-encodeur pour la deuxième. La recherche hybride maximise le rappel de la première étape en combinant la correspondance sémantique et celle des mots-clés, puis le cross-encodeur sélectionne avec précision les documents les plus pertinents dans l'ensemble de candidats combiné. Cette configuration atteint régulièrement une qualité de recherche de pointe sur les bancs d'essai.

Si vous souhaitez bénéficier de la précision d'un cross-encodeur sans gérer votre propre modèle, Cohere Rerank et Jina AI Reranker proposent tous deux des API de reclassement hébergées dans le cloud. Vous envoyez une requête et une liste de textes de documents, puis recevez les scores de pertinence. Ces API utilisent de grands modèles cross-encodeurs (souvent de plus de 500 millions de paramètres), plus performants que les petits cross-encodeurs hébergés en interne, au prix d'une latence d'API supplémentaire (50 à 300 ms) et d'une facturation par document reclassé.

La recherche en deux étapes ajoute de la complexité et de la latence par rapport à une recherche en une seule étape. Elle n'est pas toujours nécessaire. Pour les petits corpus de moins de 10 000 documents, un seul cross-encodeur appliqué à l'ensemble peut être suffisamment rapide. Pour les applications où une latence inférieure à 100 ms est essentielle et où les gains de précision sont modestes, une recherche dense en une seule étape peut être préférable. Utilisez deux étapes lorsque vous disposez d'un corpus volumineux, que vos exigences de précision sont élevées et que vous pouvez accepter une latence de recherche de 200 à 500 ms.

Pour des corpus de dizaines de millions de documents, on utilise parfois une chaîne de traitement en trois étapes : la première étape récupère 10 000 candidats avec ANN, la deuxième les reclasse pour n’en retenir que 100 à l’aide d’un cross-encodeur rapide de petite taille, et la troisième les reclasse pour n’en retenir que 5 à l’aide d’un cross-encodeur puissant de grande taille. Chaque étape applique un modèle plus coûteux et plus précis à un ensemble plus restreint. Cette architecture est utilisée par les moteurs de recherche et les systèmes de questions-réponses sur documents à grande échelle.

Dans cette leçon, vous avez appris que les bi-encodeurs sont rapides, mais limités par l’encodage indépendant de la requête et du document, que les cross-encodeurs sont précis grâce à l’encodage conjoint, mais trop lents pour effectuer une recherche dans l’ensemble du corpus, et que la récupération en deux étapes combine les deux : une première étape rapide offrant un rappel élevé, suivie d’une deuxième étape précise offrant une haute précision. La première étape récupère beaucoup plus de candidats que nécessaire afin d’éviter de manquer des documents pertinents. Nous allons maintenant mettre en œuvre le reclassement avec un cross-encodeur à l’aide de Cohere et de BGE.