Benaman Vektor dan Carian Keserupaan
Fahami konsep benaman vektor, cara benaman dijana dan cara carian keserupaan membolehkan dokumen yang berkaitan didapatkan semula.
Benaman Vektor dan Carian Keserupaan ialah pelajaran Aplikasi LLM dalam Pengeluaran (RAG + Pangkalan Data Vektor + Caching) percuma di CoddyKit. Ini ialah pelajaran 2 daripada 4. Anda boleh membaca keseluruhan pelajaran di bawah secara percuma — kemudian berlatih secara praktikal dalam pelayar menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Aplikasi LLM dalam Pengeluaran (RAG + Pangkalan Data Vektor + Caching), dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Aplikasi LLM dalam Pengeluaran (RAG + Pangkalan Data Vektor + Caching) merangkumi sejumlah 4 pelajaran.
Vektor untuk Makna
Selamat datang! Dalam dunia Model Bahasa Besar (LLM), memahami teks bukan sekadar memahami perkataan. Ia berkaitan dengan makna.
Komputer secara semula jadi berfungsi dengan nombor, bukannya bahasa manusia. Bagaimanakah kita merapatkan jurang ini untuk membantu LLM memahami makna teks?
Apakah Pembenaman Vektor?
Pembenaman vektor ialah perwakilan berangka bagi teks (atau imej, audio dan sebagainya). Anggaplah ia sebagai senarai nombor yang menangkap 'inti pati' atau 'makna' sesuatu maklumat.
- Setiap bahagian teks (perkataan, ayat atau dokumen) mendapat vektornya sendiri yang unik.
- Vektor ini biasanya berupa senarai panjang nombor titik apungan (contohnya,
[0.123, -0.456, 0.789, ...]).
Keajaiban di Sebalik Pembenaman
Bagaimanakah nombor ajaib ini dicipta? Model pembelajaran mesin khas, yang sering dipanggil model pembenaman, dilatih untuk menukar teks kepada vektor ini.
Model ini belajar memetakan makna yang serupa kepada vektor yang secara berangka 'hampir' antara satu sama lain dalam ruang berdimensi tinggi.
Persamaan Semantik Diterangkan
Idea terasnya ialah jika dua bahagian teks mempunyai makna yang serupa, pembenaman vektornya akan berada berdekatan.
Contohnya, pembenaman untuk "cat" akan lebih hampir dengan "kitten" berbanding dengan "car". 'Kehampiran' inilah yang membolehkan komputer memahami persamaan semantik.
Menjana Pembenaman (Konsep)
Dalam sistem RAG sebenar, anda akan menggunakan API daripada penyedia seperti OpenAI, Cohere atau model sumber terbuka untuk menjana pembenaman bagi data teks anda.
Anda menghantar teks, kemudian API mengembalikan vektor. Dari segi penggunaan, semudah itu!
Kod: Penjanaan Pembenaman Olokan
Berikut ialah contoh Python yang menunjukkan cara anda berinteraksi dengan fungsi pembenaman secara konsep. Dalam keadaan sebenar, get_embedding akan membuat panggilan API.
def get_embedding(text):
"""
Simulates an embedding model. Returns a dummy vector.
"""
if "hello" in text.lower():
return [0.1, 0.2, 0.3]
elif "goodbye" in text.lower():
return [0.8, 0.7, 0.6]
else:
return [0.0, 0.0, 0.0]
if __name__ == "__main__":
text1 = "Hello, CoddyKit!"
text2 = "Time to say goodbye."
text3 = "Another sentence."
print(f"Vector for '{text1}': {get_embedding(text1)}")
print(f"Vector for '{text2}': {get_embedding(text2)}")
print(f"Vector for '{text3}': {get_embedding(text3)}")Mengapa Carian Persamaan?
Setelah semua dokumen anda (atau bahagian dokumen) ditukar kepada pembenaman, bagaimanakah anda mencari dokumen yang paling relevan apabila pengguna mengemukakan soalan?
Di sinilah carian persamaan digunakan. Ia ialah proses mencari pembenaman yang 'paling hampir' dengan pembenaman pertanyaan tertentu.
Cara Carian Persamaan Berfungsi
Carian persamaan mengukur 'jarak' atau 'sudut' antara vektor secara matematik. Kaedah yang biasa digunakan termasuk:
- Persamaan Kosinus: Mengukur sudut antara dua vektor. Sudut yang lebih kecil (lebih hampir kepada 1) bermaksud persamaan yang lebih tinggi.
- Jarak Euclid: Mengukur jarak garis lurus antara dua titik (vektor). Jarak yang lebih kecil bermaksud persamaan yang lebih tinggi.
Pengiraan ini mengenal pasti dokumen yang paling serupa secara semantik dengan pantas.
Pembenaman + Carian = Kuasa RAG
Dalam RAG, apabila pengguna mengemukakan soalan:
- Soalan tersebut ditukar kepada pembenaman.
- Carian persamaan dilakukan terhadap pangkalan data pembenaman dokumen.
- N bahagian dokumen yang paling serupa diambil semula.
Bahagian yang diambil semula ini kemudiannya memberikan konteks kepada LLM, menjadikan jawapannya lebih tepat dan berasaskan maklumat.
Semakan Pantas tentang Pembenaman
Pembenaman vektor amat penting untuk RAG. Mari uji pemahaman anda.
Imbas Kembali: Pembenaman & Carian
Syabas! Anda telah mempelajari konsep asas pembenaman vektor dan carian persamaan.
- Pembenaman vektor menukar teks kepada nombor sambil menangkap maknanya.
- Model pembenaman mencipta vektor ini.
- Carian persamaan menggunakan jarak matematik untuk mencari vektor yang paling relevan (dan seterusnya dokumen) bagi sesuatu pertanyaan.
Teknik ini menjadi teras kepada cara sistem RAG mencari dan memberikan konteks yang relevan kepada LLM.
Pelajari Aplikasi LLM dalam Pengeluaran (RAG + Pangkalan Data Vektor + Caching) dengan tutor kecerdasan buatan — percuma
Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.
- Kursus
- 12
- Pelajaran
- 48
Soalan Lazim
Adakah pelajaran “Benaman Vektor dan Carian Keserupaan” percuma?
Ya — teks penuh “Benaman Vektor dan Carian Keserupaan” boleh dibaca secara percuma di web ini. Untuk berlatih secara interaktif menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7, serta membuka kunci baki kursus Aplikasi LLM dalam Pengeluaran (RAG + Pangkalan Data Vektor + Caching), tingkat taraf kepada CoddyKit PRO. Kursus Aplikasi LLM dalam Pengeluaran (RAG + Pangkalan Data Vektor + Caching) merangkumi sejumlah 4 pelajaran.
Apakah yang akan saya pelajari dalam “Benaman Vektor dan Carian Keserupaan”?
Fahami konsep benaman vektor, cara benaman dijana dan cara carian keserupaan membolehkan dokumen yang berkaitan didapatkan semula. Anda berlatih Aplikasi LLM dalam Pengeluaran (RAG + Pangkalan Data Vektor + Caching) menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.
Adakah saya memerlukan pengalaman untuk memulakan Aplikasi LLM dalam Pengeluaran (RAG + Pangkalan Data Vektor + Caching)?
Tiada pengalaman terdahulu diperlukan. Pembelajaran Aplikasi LLM dalam Pengeluaran (RAG + Pangkalan Data Vektor + Caching) di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 2 daripada 4.
Berapa lamakah pelajaran “Benaman Vektor dan Carian Keserupaan” diambil?
Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.
Bolehkah saya menulis dan menjalankan kod dalam pelajaran Aplikasi LLM dalam Pengeluaran (RAG + Pangkalan Data Vektor + Caching) ini?
Ya. Setiap pelajaran Aplikasi LLM dalam Pengeluaran (RAG + Pangkalan Data Vektor + Caching) menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.
Semua pelajaran dalam kursus ini
- Keperluan Pangkalan Data Vektor
- Benaman Vektor dan Carian Keserupaan
- Mengintegrasikan Pangkalan Data Vektor
- Pengindeksan, Penapisan dan Carian Hibrid