LangChain / RAG / Pangkalan Data Vektor · Pelajaran

Membangunkan Pemuat Dokumen Tersuai

Cipta pemuat dokumen khusus untuk mengambil data daripada sumber unik atau proprietari yang tidak disokong secara langsung oleh LangChain.

Pelajaran 1 daripada 411 langkah

Membangunkan Pemuat Dokumen Tersuai ialah pelajaran LangChain / RAG / Pangkalan Data Vektor percuma di CoddyKit. Ini ialah pelajaran 1 daripada 4. Anda boleh membaca keseluruhan pelajaran di bawah secara percuma — kemudian berlatih secara praktikal dalam pelayar menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran LangChain / RAG / Pangkalan Data Vektor, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus LangChain / RAG / Pangkalan Data Vektor merangkumi sejumlah 4 pelajaran.

Mengapa Pemuat Dokumen Tersuai?

LangChain menyediakan banyak pemuat dokumen terbina dalam untuk format biasa seperti PDF, halaman web dan pangkalan data. Tetapi bagaimana jika data anda unik?

Kadang-kadang, anda akan berdepan dengan:

Format fail proprietari
API dalaman atau sumber data dalaman
Struktur data rumit yang memerlukan penghuraian tersuai

Di sinilah pemuat dokumen tersuai amat berguna!

Kenali BaseLoader LangChain

Untuk mencipta pemuat anda sendiri, anda akan mewarisi kelas BaseLoader LangChain. Ini ialah kelas abstrak, yang bermaksud ia menyediakan templat tentang perkara yang perlu dilakukan oleh pemuat anda.

Kaedah paling penting yang akan anda laksanakan ialah load(). Kaedah ini bertanggungjawab mendapatkan data anda dan menukarkannya kepada senarai objek Document.

Objek Dokumen LangChain

Semua data yang diproses oleh LangChain, khususnya untuk RAG, diseragamkan menjadi objek Document. Setiap Document mempunyai dua bahagian utama:

page_content: Kandungan teks sebenar.
metadata: Kamus pasangan nilai kunci yang menerangkan dokumen tersebut (contohnya, fail sumber, nombor halaman dan pengarang).

Tugas pemuat tersuai anda adalah untuk mencipta objek Document ini daripada data unik anda.

Struktur Asas Pemuat Tersuai

Mari mulakan dengan pemuat tersuai yang sangat mudah dan hanya mengembalikan rentetan teks tetap sebagai dokumen. Ini menunjukkan struktur asas pewarisan daripada BaseLoader dan pelaksanaan load().

from langchain_core.documents import Document
from langchain_core.document_loaders import BaseLoader

class MySimpleTextLoader(BaseLoader):
    def load(self):
        content = "This is a custom text document from MySimpleTextLoader."
        doc = Document(page_content=content)
        return [doc]

# Example usage:
if __name__ == "__main__":
    loader = MySimpleTextLoader()
    documents = loader.load()
    for doc in documents:
        print(f"Content: {doc.page_content}")
        print(f"Metadata: {doc.metadata}")

Menjadikan Pemuat Anda Dinamik

Pemuat rentetan tetap tidak begitu berguna! Pemuat dunia sebenar perlu menerima parameter seperti laluan fail, URL atau bukti kelayakan API.

Anda boleh melakukannya dengan menambahkan kaedah __init__ pada kelas pemuat tersuai anda. Ini membolehkan anda menghantar argumen apabila mencipta tika pemuat anda.

Memuatkan Fail Log “Tersuai”

Bayangkan anda mempunyai fail log aplikasi yang ringkas (app.log) dan setiap barisnya ialah satu peristiwa. Mari cipta pemuat tersuai untuk membaca fail ini dengan menganggap setiap baris sebagai dokumen berasingan.

Kita akan mencipta kandungan fail app.log contoh terus dalam kod demi kesederhanaan.

from langchain_core.documents import Document
from langchain_core.document_loaders import BaseLoader

# Simulate a log file content
log_file_content = (
    "[INFO] User logged in: user123\n"
    "[ERROR] Database connection failed\n"
    "[DEBUG] Processing request for /api/data\n"
    "[INFO] Data retrieved successfully"
)

class CustomLogLoader(BaseLoader):
    def __init__(self, log_data: str):
        self.log_data = log_data.split('\n')

    def load(self):
        documents = []
        for line in self.log_data:
            if line.strip(): # Avoid empty lines
                doc = Document(page_content=line)
                documents.append(doc)
        return documents

# Example usage:
if __name__ == "__main__":
    loader = CustomLogLoader(log_file_content)
    documents = loader.load()
    for i, doc in enumerate(documents):
        print(f"Doc {i+1}: {doc.page_content[:40]}...")

Menambahkan Metadata Terperinci

Metadata sangat berguna! Metadata membantu LLM memahami konteks teks dan boleh digunakan untuk penapisan atau penambahbaikan dapatan semula. Dalam contoh fail log kita, mengetahui nombor baris log asal atau fail sumber boleh menjadi sangat membantu.

Anda boleh menambahkan apa-apa maklumat yang berkaitan sebagai pasangan nilai kunci ke dalam kamus metadata bagi Document.

Pemuat Log dengan Metadata

Mari tingkatkan CustomLogLoader kita untuk menyertakan metadata seperti sumber asal dan nombor baris bagi setiap entri log. Ini menjadikan maklumat yang diperoleh semula jauh lebih lengkap!

from langchain_core.documents import Document
from langchain_core.document_loaders import BaseLoader

# Simulate a log file content
log_file_content = (
    "[INFO] User logged in: user123\n"
    "[ERROR] Database connection failed\n"
    "[DEBUG] Processing request for /api/data\n"
    "[INFO] Data retrieved successfully"
)

class CustomLogLoaderWithMeta(BaseLoader):
    def __init__(self, log_data: str, source_name: str = "app.log"):
        self.log_data = log_data.split('\n')
        self.source_name = source_name

    def load(self):
        documents = []
        for i, line in enumerate(self.log_data):
            if line.strip():
                metadata = {
                    "source": self.source_name,
                    "line_number": i + 1
                }
                doc = Document(page_content=line, metadata=metadata)
                documents.append(doc)
        return documents

# Example usage:
if __name__ == "__main__":
    loader = CustomLogLoaderWithMeta(log_file_content, "my_custom_app_logs")
    documents = loader.load()
    for i, doc in enumerate(documents):
        print(f"Doc {i+1}:")
        print(f"  Content: {doc.page_content[:40]}...")
        print(f"  Metadata: {doc.metadata}")

Mengintegrasikan Dokumen Tersuai

Setelah pemuat tersuai anda menghasilkan objek Document, objek tersebut berfungsi sama seperti dokumen yang dimuatkan oleh mana-mana pemuat LangChain yang lain.

Anda kemudiannya boleh menghantarnya ke langkah seterusnya dalam saluran RAG anda:

Pemisahan Teks: Memecahkan dokumen besar kepada bahagian yang lebih kecil.
Pembenaman: Menukarkan bahagian teks kepada vektor berangka.
Stor Vektor: Menyimpan pembenaman ini untuk carian keserupaan yang cekap.

Data tersuai anda kini sedia untuk aplikasi LLM lanjutan!

Semakan Pantas: Pemuat Tersuai

Anda sedang membina pemuat dokumen tersuai untuk LangChain. Manakah antara pernyataan berikut yang TRUE tentang objek Document yang mesti anda kembalikan?

Jawab dalam pelajaran interaktif

Imbas Kembali: Pemuat Dokumen Tersuai

Syabas! Anda telah mempelajari cara membangunkan pemuat dokumen tersuai dalam LangChain.

Anda mewarisi daripada BaseLoader dan melaksanakan kaedah load().
Pemuat anda menukarkan data unik kepada senarai objek Document.
Objek Document mengandungi page_content dan kamus metadata yang fleksibel.
Pemuat tersuai penting untuk mengintegrasikan sumber data proprietari ke dalam aplikasi RAG anda.

Seterusnya, kita akan meneroka cara mengintegrasikan model pembenaman tersuai!

Percuma untuk bermula

Pelajari LangChain / RAG / Pangkalan Data Vektor dengan tutor kecerdasan buatan — percuma

Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.

Kursus: 12
Pelajaran: 48

Mula belajar secara percuma Lihat kursus penuh

Soalan Lazim

Adakah pelajaran “Membangunkan Pemuat Dokumen Tersuai” percuma?

Ya — teks penuh “Membangunkan Pemuat Dokumen Tersuai” boleh dibaca secara percuma di web ini. Untuk berlatih secara interaktif menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7, serta membuka kunci baki kursus LangChain / RAG / Pangkalan Data Vektor, tingkat taraf kepada CoddyKit PRO. Kursus LangChain / RAG / Pangkalan Data Vektor merangkumi sejumlah 4 pelajaran.

Apakah yang akan saya pelajari dalam “Membangunkan Pemuat Dokumen Tersuai”?

Cipta pemuat dokumen khusus untuk mengambil data daripada sumber unik atau proprietari yang tidak disokong secara langsung oleh LangChain. Anda berlatih LangChain / RAG / Pangkalan Data Vektor menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.

Adakah saya memerlukan pengalaman untuk memulakan LangChain / RAG / Pangkalan Data Vektor?

Tiada pengalaman terdahulu diperlukan. Pembelajaran LangChain / RAG / Pangkalan Data Vektor di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 1 daripada 4.

Berapa lamakah pelajaran “Membangunkan Pemuat Dokumen Tersuai” diambil?

Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.

Bolehkah saya menulis dan menjalankan kod dalam pelajaran LangChain / RAG / Pangkalan Data Vektor ini?

Ya. Setiap pelajaran LangChain / RAG / Pangkalan Data Vektor menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.

Semua pelajaran dalam kursus ini

Membangunkan Pemuat Dokumen Tersuai
Mengintegrasikan Model Pembenaman Tersuai
Memperluas Rantaian Perolehan dengan Logik Tersuai
Membina Penghurai Output Tersuai

← Kembali ke LangChain / RAG / Pangkalan Data Vektor