Mengapa LLM Memerlukan Retrieval

LLM hanya mengetahui hal-hal yang dilihatnya selama pelatihan. Setelah batas waktu tersebut, pengetahuannya membeku sehingga tidak dapat melihat dokumen terbaru atau data pribadi Anda.

Saat LLM tidak memiliki suatu fakta, model sering mengarang fakta yang terdengar meyakinkan. Kami menyebutnya halusinasi, dan inilah risiko utama terhadap kepercayaan.

Memperbesar model menambah kemampuan, tetapi tidak menambahkan fakta khusus milik Anda. Jumlah parameter yang sangat besar tetap tidak dapat menyimpan wiki pribadi atau berita hari ini milik Anda.

Pembuatan yang diperkuat dengan pengambilan mengatasi hal ini dengan mengambil teks yang relevan terlebih dahulu, lalu meminta model menjawab menggunakan teks tersebut.

RAG memiliki dua langkah. Pertama, ambil bagian teks yang sesuai dengan pertanyaan, lalu hasilkan jawaban yang didasarkan pada bagian tersebut.

Dengan memasukkan dokumen nyata ke dalam perintah, Anda mendasarkan model pada fakta yang benar-benar dapat dibacanya, bukan fakta yang harus ditebaknya.

Perbarui dokumen Anda dan jawabannya juga akan diperbarui. RAG menjaga respons tetap terkini tanpa biaya pelatihan ulang model.

Penyetelan halus menanamkan pengetahuan ke dalam bobot model dan mahal untuk diulangi. Sebaliknya, RAG menambahkan pengetahuan saat waktu kueri, sehingga jauh lebih murah untuk dipelihara.

Karena setiap jawaban berasal dari bagian teks yang diambil, Anda dapat menampilkan sitasi. Pengguna dapat melihat sumber dan memverifikasi klaim model.

Anda tidak dapat menempelkan seluruh pustaka ke dalam perintah. Model memiliki jendela konteks yang tetap, sehingga pengambilan hanya memilih beberapa bagian yang penting.

RAG cocok untuk bot dukungan, pencarian dokumen, dan tanya jawab internal: tugas apa pun yang jawabannya berada dalam data Anda, bukan dalam ingatan model.

LLM memiliki ingatan yang beku dan tidak lengkap, sehingga dapat berhalusinasi. RAG mengambil bagian teks nyata lalu menghasilkan jawaban yang berlandaskan fakta, terkini, dan dapat disitasi. ✅