Indexering, filtrering och hybridsökning
Gör vektorsökning snabb och precis i stor skala genom att förstå indextyper, kombinera metadatafilter med likhet och blanda sökordshämtning med vektorhämtning i en hybridsökning.
Indexering, filtrering och hybridsökning är en gratis lektion i LLM-applikationer i produktion (RAG + vektordatabaser + cachning) på CoddyKit. Detta är lektion 4 av 4. Ni kan läsa hela lektionen gratis nedan och sedan öva praktiskt i webbläsaren med en inbyggd kodredigerare och en AI-handledare som är tillgänglig dygnet runt. Den ingår i lärvägen för LLM-applikationer i produktion (RAG + vektordatabaser + cachning), och Era framsteg synkroniseras mellan webben och CoddyKit-appen. Kursen i LLM-applikationer i produktion (RAG + vektordatabaser + cachning) innehåller totalt 4 lektioner.
Skalproblemet
Att jämföra en fråga med miljontals vektorer en i taget är för långsamt i produktion. Vektordatabaser använder index för att snabbt hitta närliggande grannar utan att söka igenom allt.
Approximerade närmaste grannar
De flesta vektorindex är approximerade (ANN): de byter en liten mängd träffsäkerhet mot mycket stora hastighetsvinster. För RAG är nästan perfekt återkallning i hög hastighet en mycket bra kompromiss.
HNSW-index
HNSW (Hierarchical Navigable Small World) är ett populärt grafbaserat index. Det navigerar genom lager av anslutningar för att snabbt nå grannar och balanserar hastighet och precision med hjälp av inställningsbara parametrar.
IVF-index
IVF grupperar vektorer i celler. En fråga söker bara i de närmaste cellerna. Parametern nprobe gör en avvägning mellan recall och hastighet genom att styra hur många celler som ska kontrolleras.
Metadatafiltrering
Ren likhet kan ge resultat från fel omfång – gamla versioner eller andra klienter. Genom att lagra metadata tillsammans med varje vektor kan Ni filtrera resultaten till rätt delmängd.
results = store.similarity_search(
query,
k=4,
filter={'tenant': 'acme', 'lang': 'en'}
)Förfiltrering kontra efterfiltrering
Filter kan tillämpas på två sätt:
- Förfiltrering: begränsa kandidaterna före ANN-sökningen (mer korrekt)
- Efterfiltrering: sök först och ta sedan bort sådant som inte matchar (kan ge för få resultat)
Föredra förfiltrering när databasen stöder det.
När vektorsökning har svårt att lyckas
Vektorer fångar betydelse, men kan missa exakta termer – produktkoder, namn och akronymer. En fråga efter SKU-9F kanske inte semantiskt matchar något användbart.
Hybrid search löser detta.
Vad är hybrid search?
Hybrid search kör både sökning med nyckelord (till exempel BM25) och vektorsökning och slår sedan ihop resultaten. Ni får semantisk förståelse kombinerad med precision för exakta termer.
Kombinera poäng med RRF
Reciprocal Rank Fusion slår ihop de två rangordnade listorna genom att belöna objekt som ligger högt i någon av dem, utan att jämförbara poängskalor behövs.
def rrf(ranks, k=60):
return sum(1 / (k + r) for r in ranks)Finjustera balansen
Många databaser låter Er vikta bidragen från nyckelord respektive vektorer (alpha). Termtunga domäner bör luta mot nyckelord, medan konceptuella frågor bör luta mot vektorer. Finjustera på Ert testdataset.
results = store.similarity_search(query, k=4, alpha=0.5)Drifttips
För välfungerande vektorsökning i stor skala:
- Bygg om eller uppdatera index när datamängden växer
- Se till att embeddingarnas och indexets dimensioner överensstämmer
- Benchmarka recall och svarstid tillsammans
Snabbtest
Testa Era kunskaper om vektordatabaser.
Sammanfattning
Ni har lärt Er att skala upp och förbättra vektorsökning:
- ANN-index som HNSW och IVF gör sökningen snabb
- Metadatafilter begränsar resultaten; föredra förfiltrering
- Hybrid search kombinerar hämtning med nyckelord och vektorer
- Slå ihop rangordningar med RRF och finjustera balansen
- Underhåll index och benchmarka recall mot svarstid
Med dessa tekniker förblir hämtningen både snabb och korrekt i produktion.
Lär dig LLM-applikationer i produktion (RAG + vektordatabaser + cachning) med en AI-lärare – gratis
Skriv och kör riktig kod i webbläsaren, få omedelbar hjälp av en AI-lärare dygnet runt och fortsätt där du slutade – på webben eller i appen.
- Kurser
- 12
- Lektioner
- 48
Vanliga frågor
Är lektionen ”Indexering, filtrering och hybridsökning” gratis?
Ja – hela texten till ”Indexering, filtrering och hybridsökning” kan läsas gratis här på webben. Om Ni vill öva interaktivt med en inbyggd kodredigerare och en AI-handledare som är tillgänglig dygnet runt och låsa upp resten av kursen i LLM-applikationer i produktion (RAG + vektordatabaser + cachning), kan Ni uppgradera till CoddyKit PRO. Kursen i LLM-applikationer i produktion (RAG + vektordatabaser + cachning) innehåller totalt 4 lektioner.
Vad lär jag mig i ”Indexering, filtrering och hybridsökning”?
Gör vektorsökning snabb och precis i stor skala genom att förstå indextyper, kombinera metadatafilter med likhet och blanda sökordshämtning med vektorhämtning i en hybridsökning. Ni övar på LLM-applikationer i produktion (RAG + vektordatabaser + cachning) med praktisk kod som körs direkt i webbläsaren, medan en AI-handledare som är tillgänglig dygnet runt svarar på Era frågor under lektionen.
Behöver jag någon erfarenhet för att börja lära mig LLM-applikationer i produktion (RAG + vektordatabaser + cachning)?
Du behöver inga förkunskaper. Utbildningen i LLM-applikationer i produktion (RAG + vektordatabaser + cachning) på CoddyKit är upplagd för allt från nybörjare till avancerade elever, så att du kan börja här eller från början och gå fram i din egen takt. Detta är lektion 4 av 4.
Hur lång tid tar lektionen ”Indexering, filtrering och hybridsökning”?
De flesta CoddyKit-lektioner tar cirka 5–10 minuter. Varje lektion är kort och interaktiv, så att du gör stadiga framsteg och kan fortsätta precis där du slutade – på webben eller i appen.
Kan jag skriva och köra kod i den här LLM-applikationer i produktion (RAG + vektordatabaser + cachning)-lektionen?
Ja. Varje LLM-applikationer i produktion (RAG + vektordatabaser + cachning)-lektion innehåller en inbyggd kodredigerare, så att du kan skriva och köra riktig kod direkt i webbläsaren och få omedelbar AI-feedback – utan lokal installation.
Alla lektioner i den här kursen
- Varför vektordatabaser behövs
- Vektorinbäddningar och likhetssökning
- Integrera med en vektordatabas
- Indexering, filtrering och hybridsökning