Pengambilan Padat vs Jarang: Keseimbangan

Sistem pengambilan modern mengandalkan dua sinyal yang berbeda: pengambilan padat mengodekan makna ke dalam ruang vektor kontinu, sedangkan pengambilan jarang menghitung kemunculan istilah secara persis. Sinyal-sinyal ini saling melengkapi, bukan dapat saling menggantikan. Memahami kelebihan dan kekurangan masing-masing adalah langkah pertama untuk membangun sistem yang menggunakan keduanya secara efektif.

Pengambilan padat memetakan kueri dan setiap dokumen ke dalam vektor berdimensi tinggi menggunakan pengode neural. Kemiripan diukur dengan jarak kosinus atau hasil kali titik antarvektor. Karena pengode dilatih menggunakan korpus teks yang besar, frasa yang berkaitan secara semantik akan berdekatan dalam ruang vektor meskipun tidak memiliki kata yang sama—inilah keunggulan utama pengambilan padat.

Model padat kesulitan menangani istilah langka yang kurang terwakili selama pelatihan pengode. Kueri yang berisi nomor model produk tertentu seperti RTX-4090-Ti-OC, nama obat medis, atau pengenal internal milik perusahaan sering kali gagal menemukan dokumen yang benar karena pengode tidak memiliki representasi terpelajar untuk rangkaian token tersebut. Vektor tersebut akhirnya berada di lokasi yang tidak membantu dalam ruang penyematan.

BM25 (Best Matching 25) adalah fungsi pemeringkatan probabilistik yang memberi skor pada dokumen berdasarkan seberapa sering istilah kueri muncul di dalam dokumen, dinormalisasi berdasarkan panjang dokumen dan diredam berdasarkan kejenuhan frekuensi istilah. Fungsi ini menghasilkan vektor skor jarang—sebagian besar dimensinya bernilai nol karena dokumen hanya memuat sebagian kecil kosakata.

BM25 unggul pada kueri yang melibatkan istilah teknis persis, nama produk, kode kesalahan, dan pengenal numerik yang harus dicocokkan secara tepat. Kueri untuk ORA-01017 (kode kesalahan Oracle) akan menempatkan dokumen yang memuat string persis tersebut jauh di atas dokumen yang hanya membahas autentikasi basis data secara umum. Hal ini tidak mungkin dilakukan oleh model padat yang belum pernah melihat kode khusus tersebut.

BM25 tidak mampu mengenali parafrasa semantik. Dokumen tentang “perbaikan mesin mobil” akan mendapat skor nol untuk kueri tentang “pemeliharaan motor kendaraan” karena tidak ada kata persis yang sama. Masalah ketidakcocokan kosakata ini, yang terkadang disebut kesenjangan leksikal, berarti pencarian kata kunci murni melewatkan sejumlah besar konten relevan yang hanya menggunakan kata berbeda untuk menyampaikan gagasan yang sama.

Tolok ukur pada BEIR, MS MARCO, dan himpunan data tanya jawab perusahaan secara konsisten menunjukkan bahwa pengambilan hibrida mengungguli pengambilan padat maupun jarang secara terpisah sebesar 5–15 persen pada NDCG@10. Peningkatannya paling besar pada himpunan data yang mencampur pencarian fakta (yang terbantu oleh BM25) dan kueri parafrasa (yang terbantu oleh penyematan padat). Tidak ada satu metode pengambilan yang unggul untuk semua jenis kueri.

Anda dapat memprediksi pengambil mana yang akan bekerja lebih baik dengan menganalisis jenis kueri. Pengambilan padat unggul pada pertanyaan konseptual, parafrasa, dan kueri topik yang luas. BM25 unggul pada kueri yang berisi nama diri, nomor versi, cuplikan kode, akronim, dan istilah teknis yang langka. Hibrida selalu unggul ketika jenis kueri tidak diketahui sebelumnya—yang hampir selalu terjadi dalam produksi.

Menggabungkan hasil padat dan jarang tidaklah sederhana karena skornya berada pada skala yang tidak kompatibel. Kemiripan kosinus menghasilkan nilai antara -1 dan 1, sedangkan BM25 menghasilkan skor positif tanpa batas yang bergantung pada ukuran korpus. Anda tidak dapat begitu saja menjumlahkannya. Solusi standarnya adalah menggunakan penggabungan berbasis peringkat, bukan penggabungan berbasis skor — menggabungkan daftar berperingkat, bukan skor mentah.

Gunakan pengambilan data padat saja ketika korpus Anda berada dalam domain yang sempit dengan kosakata yang konsisten dan Anda memerlukan generalisasi semantik terhadap parafrasa. Gunakan BM25 saja ketika kueri terutama berupa pencarian dengan pengenal yang persis dan himpunan data Anda cukup kecil sehingga pencarian secara menyeluruh masih memungkinkan. Gunakan pendekatan hibrida dalam semua sistem RAG produksi ketika jenis kueri beragam — beban tambahannya kecil dan peningkatan perolehannya signifikan.

Pengambilan data padat memerlukan pencarian tetangga terdekat aproksimasi yang dipercepat GPU atau basis data vektor, yang menambah biaya infrastruktur. BM25 berjalan sepenuhnya pada CPU dengan indeks terbalik dan sangat cepat. Pengambilan data hibrida memerlukan kedua komponen infrastruktur tersebut, ditambah satu langkah penggabungan. Kompleksitas tambahan ini sepadan dengan peningkatan perolehan untuk sebagian besar kasus penggunaan produksi, tetapi harus dipertimbangkan terhadap anggaran infrastruktur Anda.

Uji pemahaman Anda tentang pertukaran antara pengambilan data padat dan jarang dari pelajaran ini.

Dalam pelajaran ini Anda mempelajari bahwa: pengambilan data padat menangkap makna semantik, tetapi gagal pada istilah persis yang jarang muncul; pengambilan data jarang BM25 menangani kata kunci persis, tetapi melewatkan parafrasa; dan pengambilan data hibrida secara konsisten mengungguli masing-masing metode jika digunakan sendiri pada beragam jenis kueri. Skornya tidak kompatibel dan harus digabungkan melalui penggabungan peringkat, bukan penjumlahan skor. Selanjutnya, kita akan mengimplementasikan pencarian kata kunci BM25 dalam Python.