Keperluan Pangkalan Data Vektor

Bayangkan anda mencari dokumen tentang “kereta laju”, tetapi sesetengah dokumen menggunakan istilah “kenderaan pantas”. Carian kata kunci biasa mungkin tidak menemui dokumen tersebut!

Pangkalan data tradisional sangat baik untuk padanan tepat, tetapi sukar memahami makna di sebalik perkataan.

Kebanyakan pangkalan data tradisional seperti SQL atau NoSQL bergantung pada padanan kata kunci tepat atau indeks yang telah ditetapkan.

• Pangkalan Data SQL: Menggunakan pertanyaan berstruktur untuk mencari data yang sepadan dengan nilai tertentu.
• Pangkalan Data NoSQL: Menawarkan lebih banyak fleksibiliti, tetapi selalunya masih bergantung pada kunci atau indeks kata kunci.

Pangkalan data ini seperti pustakawan yang hanya dapat mencari buku jika anda mengetahui tajuk tepatnya.

Jika anda mencari “epal”, pangkalan data tradisional akan menemukan “epal”. Tetapi bagaimana jika yang anda maksudkan ialah “buah” atau “syarikat teknologi”?

Pangkalan data tersebut tidak memahami sinonim, konsep berkaitan atau konteks keseluruhan. Hal ini dikenali sebagai “jurang semantik”.

Carian semantik bermaksud mencari hasil berdasarkan makna atau niat pertanyaan anda, bukan sekadar kata kunci.

Matlamatnya adalah untuk memberikan maklumat relevan walaupun perkataan yang tepat tidak terdapat dalam data. Anggaplah ia sebagai pustakawan bijak yang memahami perkara yang sebenarnya anda inginkan.

Untuk membolehkan carian semantik, kita memerlukan cara untuk mewakili teks seperti perkataan, ayat dan dokumen secara berangka.

Di sinilah vektor digunakan! Vektor ialah senarai nombor yang menangkap “makna” sesuatu teks.

Teks yang mempunyai makna serupa akan mempunyai vektor yang secara berangka “dekat” antara satu sama lain.

Vektor berangka ini dipanggil embedding. Embedding dijana oleh model pembelajaran mesin khas, iaitu model embedding.

Model embedding menerima teks sebagai input dan menghasilkan vektor berdimensi tinggi. Contohnya, “raja” dan “ratu” mungkin mempunyai vektor yang dekat, manakala “lelaki” dan “wanita” juga mungkin mempunyai vektor yang dekat, dengan arah “jantina” yang serupa antara kedua-duanya.

Walaupun anda boleh menyimpan vektor dalam pangkalan data tradisional, membuat pertanyaan terhadapnya dengan cekap merupakan cabaran besar.

• Perbandingan Perlahan: Mencari vektor yang “dekat” melibatkan perbandingan matematik yang kompleks.
• Tiada Sokongan Asli: Pangkalan data tradisional tidak dibina untuk mengoptimumkan jenis “carian keserupaan” ini.
• Isu Kebolehskalaan: Prestasi merosot dengan cepat apabila data dan vektor anda bertambah.

Pangkalan data vektor dibina khusus untuk menyimpan, mengindeks dan membuat pertanyaan terhadap vektor berdimensi tinggi ini dengan cekap.

Pangkalan data ini menggunakan algoritma lanjutan seperti carian Jiran Terdekat Anggaran (ANN) untuk mencari dengan cepat vektor yang paling serupa dengan vektor pertanyaan tertentu.

Bayangkan setiap vektor sebagai satu titik dalam ruang yang luas dan berbilang dimensi. Pangkalan data vektor membantu kita mencari dengan cepat titik, iaitu dokumen, yang paling dekat dengan titik pertanyaan kita, iaitu niat carian kita.

Kaedah ini jauh lebih pantas daripada memeriksa setiap titik satu demi satu, seperti yang perlu dilakukan oleh pangkalan data tradisional.

Dalam sistem RAG (Penjanaan Berbantukan Pengambilan), pangkalan data vektor amat penting.

Pangkalan data ini menyimpan embedding pangkalan pengetahuan anda. Apabila pengguna mengemukakan soalan, soalan tersebut juga ditukar kepada embedding, kemudian pangkalan data vektor mendapatkan bahagian maklumat yang paling relevan secara semantik dengan cepat.

Konteks yang diperoleh ini kemudiannya diberikan kepada LLM untuk menjana respons yang tepat.

Kami telah mempelajari bahawa pangkalan data tradisional tidak memadai untuk carian semantik kerana pangkalan data tersebut memberi tumpuan kepada padanan kata kunci, bukannya makna.

Pangkalan data vektor ialah alat khusus yang menyimpan dan membuat pertanyaan dengan cekap terhadap perwakilan berangka teks (pembenaman). Pangkalan data ini penting untuk sistem RAG bagi mendapatkan semula konteks berdasarkan kerelevanan semantik, sekali gus meningkatkan ketepatan dan kebermanfaatan LLM dengan ketara.