Komponen Teras Sistem RAG

Mari kita huraikan bahagian-bahagian sistem RAG. Anggap RAG sebagai pustakawan pintar untuk LLM anda yang mendapatkan fakta yang tepat daripada pangkalan pengetahuan anda sendiri.

Proses ini bermula dengan pemuatan dokumen: mengambil pengetahuan anda daripada mana-mana sumber — PDF, halaman web, pangkalan data atau teks biasa — supaya LLM boleh menggunakannya.

Pemuatan dokumen ibarat mengimbas buku dan nota anda supaya AI boleh membacanya. Sumbernya merangkumi PDF, halaman web dan pangkalan data berstruktur.

Dokumen yang dimuatkan biasanya terlalu besar, jadi anda perlu membahagikannya kepada bahagian. Bahagian yang lebih kecil sesuai dengan tetingkap konteks LLM yang terhad dan lebih pantas untuk dicari.

Setiap bahagian menjadi pembenaman — cap jari berangka bagi maknanya. Makna yang serupa mendapat cap jari yang serupa, jadi mesin boleh membandingkan idea, bukan sekadar kata kunci.

Pembenaman tersebut disimpan dalam stor vektor: pangkalan data yang dioptimumkan untuk menyimpan dan mencari vektor berdimensi tinggi dengan pantas, lalu menemukan bahagian yang paling serupa bagi setiap pertanyaan.

Apabila soalan diterima, pemerolehan bermula: benamkan pertanyaan, bandingkan dengan stor vektor dan ambil bahagian teratas yang paling hampir dari segi makna.

Seterusnya ialah penambahan: bahagian yang diperoleh dilampirkan pada soalan pengguna, lalu memberikan LLM helaian rujukan fakta yang diambil terus daripada data anda.

Akhir sekali, penjanaan: LLM membaca pertanyaan bersama konteks yang diperoleh dan menulis jawapan berasaskan fakta — sekali gus mengurangkan halusinasi dengan ketara.

Aliran RAG sepenuhnya: muatkan, bahagikan, benamkan dan simpan dokumen anda; kemudian benamkan pertanyaan, peroleh bahagian teratas, tambahkan arahan dan jana jawapan.

Kini anda mengetahui komponen RAG: pemuatan, pembahagian, pembenaman, stor vektor, pemerolehan, penambahan dan penjanaan — semuanya bekerjasama untuk menghasilkan jawapan AI yang bermaklumat.