Hybride zoeken: vector + trefwoord

Vectorzoeken, of semantisch zoeken, werkt met de betekenis van woorden en zinnen. Het zet tekst om in numerieke vectoren (embeddings) en vindt semantisch vergelijkbare items.

• Sterke punten: Goed in het begrijpen van intentie, het vinden van synoniemen en het ontdekken van inhoud die conceptueel verwant is.
• Zwakke punten: Kan exacte trefwoordovereenkomsten missen als de semantische betekenis niet sterk genoeg is. Kan moeite hebben met zeer specifieke, zeldzame termen.

Hybride zoeken overbrugt de hiaten van zuiver zoeken op trefwoorden of zuiver vectorzoeken. Stel dat je zoekt naar 'beste Italiaanse restaurants'.

• Zoeken op trefwoorden vindt misschien artikelen met 'Italiaanse restaurants', maar mist mogelijk hoog gewaardeerde restaurants die anders worden beschreven.
• Vectorzoeken vindt misschien uitstekende restaurants, maar mist specifieke vermeldingen van 'Italiaans' als de embedding daar niet sterk genoeg de nadruk op legt.

Hybride zoeken combineert beide methoden voor de meest volledige resultaten.

Kort gezegd voert hybride zoeken gelijktijdig of achtereenvolgens zowel een vectorzoekopdracht naar overeenkomst als een trefwoordzoekopdracht (lexicaal zoeken) uit.

Elke zoekmethode levert een lijst met resultaten en bijbehorende relevantiescores op. De kracht zit in het combineren van deze resultaten en scores tot één uniforme rangschikking.

Een veelgebruikte methode om resultaten te combineren is Reciprocal Rank Fusion (RRF). RRF gebruikt de rang van een document in verschillende zoekresultaten en berekent een gecombineerde score.

Deze methode werkt goed omdat items die in meerdere zoeklijsten hoog eindigen, zwaarder worden meegeteld. Daardoor is de methode minder gevoelig voor vertekeningen van afzonderlijke zoekmethoden.

Hoewel RRF populair is, kun je scores ook combineren met een eenvoudige gewogen som, ervan uitgaande dat de scores genormaliseerd zijn. Hier volgt een conceptueel Python-voorbeeld:

Het implementeren van hybride zoekopdrachten biedt aanzienlijke voordelen voor je toepassingen:

• Betere relevantie: Gebruikers krijgen nauwkeurigere en uitgebreidere resultaten.
• Betere volledigheid en precisie: Je vindt meer relevante items (volledigheid) en minder irrelevante items (precisie).
• Omgaan met diverse zoekopdrachten: Zowel specifieke, op trefwoorden gebaseerde zoekopdrachten als brede semantische vragen worden effectief beantwoord.
• Robuustheid: Minder gevoelig voor de beperkingen van één zoekmethode.

Overweeg hybride zoekopdrachten wanneer:

• Je gegevens zowel zeer specifieke termen als abstracte concepten bevatten.
• Zoekopdrachten van gebruikers sterk verschillen in specificiteit en bedoeling.
• Je een balans moet vinden tussen het vinden van exacte overeenkomsten en het begrijpen van de algemene betekenis.
• Je RAG-systemen (Retrieval Augmented Generation) voor LLM's bouwt, waarbij nauwkeurige context cruciaal is.

Dit is vooral nuttig in e-commerce, toepassingen voor inhoudsaanbevelingen en kennisbanktoepassingen.

In deze les hebben we Hybrid Search verkend: een techniek die traditioneel zoeken op trefwoorden op intelligente wijze combineert met moderne zoekopdrachten op basis van vectorsimilariteit.

Door de sterke punten van zowel lexicale als semantische overeenkomsten te benutten, levert hybride zoeken relevantere, robuustere en uitgebreidere resultaten op. Daarbij worden de afzonderlijke beperkingen van beide methoden omzeild. Het is een essentieel hulpmiddel voor het bouwen van geavanceerde systemen voor het ophalen van informatie.