Pengindeksan, Penyaringan, dan Pencarian Hibrida
Buat pencarian vektor cepat dan presisi dalam skala besar dengan memahami jenis indeks, menggabungkan penyaring metadata dengan kemiripan, serta memadukan pengambilan berbasis kata kunci dan vektor melalui pencarian hibrida.
Pengindeksan, Penyaringan, dan Pencarian Hibrida adalah pelajaran LLM Apps in Production (RAG + Vector DB + Caching) gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar LLM Apps in Production (RAG + Vector DB + Caching), dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus LLM Apps in Production (RAG + Vector DB + Caching) mencakup 4 pelajaran total.
Bagian dari pelajaran ini belum diterjemahkan dan ditampilkan dalam bahasa Inggris.
The Scale Problem
Comparing a query against millions of vectors one by one is too slow for production. Vector databases use indexes to find near neighbors quickly without scanning everything.
Approximate Nearest Neighbors
Most vector indexes are approximate (ANN): they trade a tiny bit of accuracy for huge speed gains. For RAG, near-perfect recall at fast speed is a great deal.
HNSW Indexes
HNSW (Hierarchical Navigable Small World) is a popular graph-based index. It navigates layers of connections to reach neighbors fast, balancing speed and accuracy via tunable parameters.
IVF Indexes
IVF clusters vectors into cells; a query only searches the closest cells. The nprobe parameter trades recall for speed by controlling how many cells to check.
Metadata Filtering
Pure similarity can return the wrong scope — old versions, other tenants. Storing metadata with each vector lets you filter results to the right subset.
results = store.similarity_search(
query,
k=4,
filter={'tenant': 'acme', 'lang': 'en'}
)Pre vs Post Filtering
Filters apply two ways:
- Pre-filter: restrict candidates before the ANN search (more correct)
- Post-filter: search, then drop non-matches (may return too few)
Prefer pre-filtering when the DB supports it.
Where Vector Search Struggles
Vectors capture meaning but can miss exact terms — product codes, names, acronyms. A query for SKU-9F may semantically match nothing useful.
Hybrid search fixes this.
What Is Hybrid Search?
Hybrid search runs both keyword (e.g. BM25) and vector search, then merges the results. You get semantic understanding plus exact-term precision.
Combining Scores with RRF
Reciprocal Rank Fusion merges the two ranked lists by rewarding items ranked high in either, without needing comparable score scales.
def rrf(ranks, k=60):
return sum(1 / (k + r) for r in ranks)Tuning the Balance
Many databases let you weight keyword vs vector contributions (alpha). Term-heavy domains lean keyword; conceptual queries lean vector. Tune on your test set.
results = store.similarity_search(query, k=4, alpha=0.5)Operational Tips
For healthy vector search at scale:
- Rebuild or update indexes as data grows
- Keep embeddings and index dimensions consistent
- Benchmark recall and latency together
Quick Check
Test your vector database knowledge.
Recap
You learned to scale and sharpen vector search:
- ANN indexes like HNSW and IVF make search fast
- Metadata filters scope results; prefer pre-filtering
- Hybrid search blends keyword and vector retrieval
- Fuse rankings with RRF and tune the balance
- Maintain indexes and benchmark recall vs latency
These techniques keep retrieval both fast and accurate in production.
Belajar LLM Apps in Production (RAG + Vector DB + Caching) dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 12
- Pelajaran
- 48
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Pengindeksan, Penyaringan, dan Pencarian Hibrida” gratis?
Ya — teks lengkap “Pengindeksan, Penyaringan, dan Pencarian Hibrida” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus LLM Apps in Production (RAG + Vector DB + Caching), upgrade ke CoddyKit PRO. Kursus LLM Apps in Production (RAG + Vector DB + Caching) mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Pengindeksan, Penyaringan, dan Pencarian Hibrida”?
Buat pencarian vektor cepat dan presisi dalam skala besar dengan memahami jenis indeks, menggabungkan penyaring metadata dengan kemiripan, serta memadukan pengambilan berbasis kata kunci dan vektor m… Kamu berlatih LLM Apps in Production (RAG + Vector DB + Caching) dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai LLM Apps in Production (RAG + Vector DB + Caching)?
Tidak diperlukan pengalaman sebelumnya. LLM Apps in Production (RAG + Vector DB + Caching) di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.
Berapa lama pelajaran “Pengindeksan, Penyaringan, dan Pencarian Hibrida” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran LLM Apps in Production (RAG + Vector DB + Caching) ini?
Ya. Setiap pelajaran LLM Apps in Production (RAG + Vector DB + Caching) menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Pentingnya Basis Data Vektor
- Penyematan Vektor dan Pencarian Kemiripan
- Mengintegrasikan dengan Basis Data Vektor
- Pengindeksan, Penyaringan, dan Pencarian Hibrida