Membagi dan Membuat Embedding Dokumen
Menyiapkan basis pengetahuan yang dapat dicari
Membagi dan Membuat Embedding Dokumen adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 2 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Dokumen Terlalu Besar untuk Dicari Secara Utuh
Sebuah PDF panjang memuat banyak topik sekaligus. Agar dapat mengambil informasi dengan tepat, Anda harus membaginya terlebih dahulu menjadi bagian-bagian kecil yang disebut potongan.
Ciri Potongan yang Baik
Potongan yang baik memuat satu gagasan utuh: satu atau dua paragraf. Potongan yang terlalu besar menyembunyikan jawaban, sedangkan yang terlalu kecil kehilangan konteks di sekitarnya.
Membagi Berdasarkan Ukuran
Metode paling sederhana memotong teks setiap sejumlah karakter atau token yang tetap. Metode ini cepat, tetapi dapat memotong kalimat menjadi dua.
chunks = [text[i:i+500] for i in range(0, len(text), 500)]Potongan yang Saling Tumpang Tindih
Agar gagasan tidak terputus, biarkan potongan memiliki tumpang tindih. Pengulangan baris terakhir menjaga kesinambungan konteks di antara batas potongan.
Membagi Berdasarkan Struktur
Pembagi yang lebih cerdas memotong berdasarkan paragraf atau judul terlebih dahulu. Dengan menghormati struktur, setiap potongan tetap membahas satu topik yang jelas.
Dari Teks Menjadi Vektor
Pencarian membutuhkan angka, bukan kata. Embedding mengubah setiap potongan menjadi vektor padat yang menangkap maknanya.
Makna Terletak pada Jarak
Embedding menempatkan teks yang serupa secara berdekatan. Dua potongan tentang gagasan yang sama akan berada berdekatan dalam ruang vektor.
Memanggil Model Embedding
Anda memberikan teks kepada model embedding dan mendapatkan daftar bilangan pecahan. Model yang sama harus melakukan encode pada potongan dan kueri.
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")Melakukan Encoding pada Potongan
Jalankan setiap potongan melalui model untuk membuat vektornya. Satu pemanggilan dapat melakukan encode pada seluruh daftar sekaligus agar lebih cepat.
vectors = model.encode(chunks)Dimensi Vektor
Setiap vektor memiliki panjang tetap yang disebut dimensi. Model kecil mungkin menghasilkan 384 angka, sedangkan model yang lebih besar menghasilkan 768 angka atau lebih.
print(vectors.shape) # (n_chunks, 384)Simpan Potongan dan Vektor Bersamaan
Simpan setiap vektor bersama teks dan sumber aslinya. Nantinya Anda mengambil berdasarkan vektor, tetapi menampilkan potongan yang dapat dibaca manusia.
Pemeriksaan Cepat
Pertimbangkan alasan kita menambahkan tumpang tindih saat membagi dokumen.
Rangkuman
Anda membagi dokumen menjadi potongan, yang dapat dibuat saling tumpang tindih, lalu mengubah masing-masing menjadi vektor. Simpan teks dan vektor bersama-sama untuk pengambilan. ✅
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Membagi dan Membuat Embedding Dokumen” gratis?
Ya — teks lengkap “Membagi dan Membuat Embedding Dokumen” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Membagi dan Membuat Embedding Dokumen”?
Menyiapkan basis pengetahuan yang dapat dicari Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 2 dari 4.
Berapa lama pelajaran “Membagi dan Membuat Embedding Dokumen” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Mengapa LLM Memerlukan Retrieval
- Membagi dan Membuat Embedding Dokumen
- Pencarian Vektor dengan Penyimpanan Vektor
- Memasukkan Retrieval ke dalam Prompt