Memuat, Membagi, dan Membuat Embedding Dokumen

Sebelum LLM dapat menjawab berdasarkan dokumen Anda, Anda harus memuat, membagi, dan menyematkan dokumen tersebut. Pelajaran ini membahas alur pemasukan data tersebut, yang menjadi landasan setiap sistem Retrieval-Augmented Generation.

PyPDFLoader membaca PDF dan mengembalikan daftar objek Dokumen, satu untuk setiap halaman. Setiap dokumen memiliki page_content (teks) dan metadata (sumber, nomor halaman).

Halaman utuh sering kali terlalu besar untuk disematkan atau dimasukkan ke dalam instruksi. Pembagian memecah teks menjadi potongan-potongan lebih kecil yang dapat disematkan dengan baik dan memungkinkan pengambilan hanya mengembalikan bagian yang relevan, bukan seluruh halaman.

Pemecah yang direkomendasikan adalah RecursiveCharacterTextSplitter. Pemecah ini mencoba membagi teks berdasarkan paragraf terlebih dahulu, lalu kalimat, kemudian kata, sehingga potongan tetap koheren secara semantik dan tidak terputus di tengah kata.

chunk_size menetapkan jumlah maksimum karakter per potongan; chunk_overlap mengulangi sebagian teks di antara potongan yang bersebelahan agar konteks tidak hilang pada batas potongan. Pembagian 1000/200 adalah titik awal yang umum.

Potongan kecil menghasilkan pengambilan yang lebih tepat, tetapi mungkin kehilangan konteks di sekitarnya. Potongan besar mempertahankan konteks, tetapi mengurangi relevansi dan membutuhkan lebih banyak token. Tumpang tindih sebesar 10–20% dari ukuran potongan merupakan nilai bawaan yang baik untuk menjembatani batas potongan.

Penyematan mengubah teks menjadi vektor angka dengan panjang tetap yang menangkap makna. Teks yang serupa menghasilkan vektor yang berdekatan. Inilah yang memungkinkan kita melakukan pencarian berdasarkan kemiripan semantik, bukan kata kunci.

Buat penyematan dengan OpenAIEmbeddings. Model text-embedding-3-small murah dan efektif. embed_query menyematkan satu string; embed_documents menyematkan sebuah daftar.

Sematkan semua potongan sekaligus. Setiap potongan akan menjadi vektor yang nantinya Anda simpan di basis data vektor untuk pencarian kemiripan yang cepat.

Penyematan ditagihkan per token. Perkirakan jumlah token di seluruh potongan, lalu kalikan dengan harga per 1.000 token. Menghitungnya sebelum penyematan membantu menghindari tagihan tak terduga pada kumpulan dokumen yang besar.

Alur pemasukan data: memuat dokumen, membaginya menjadi potongan yang saling tumpang tindih, menyematkan setiap potongan menjadi vektor, lalu (pada pelajaran berikutnya) menyimpannya. Pembagian potongan yang baik dan kesadaran terhadap biaya di tahap ini menentukan kualitas dan harga seluruh sistem RAG.

Anda menggunakan PyPDFLoader untuk memuat dokumen, RecursiveCharacterTextSplitter dengan chunk_size dan chunk_overlap untuk membaginya menjadi potongan, serta OpenAIEmbeddings untuk mengubah potongan menjadi vektor. Anda juga belajar memperkirakan biaya penyematan per token sebelum memproses kumpulan dokumen yang besar.