Masalah yang Diselesaikan RAG

Setiap model bahasa besar dilatih berdasarkan cuplikan internet hingga tanggal tertentu yang disebut batas pengetahuan. GPT-4o memiliki batas pengetahuan pada awal 2024. Jika Anda menanyakannya tentang peristiwa yang terjadi setelah tanggal tersebut, model akan mengakui ketidaktahuannya atau, yang lebih buruk, mengarang informasi yang terdengar masuk akal tetapi salah dengan penuh keyakinan. Bagi aplikasi yang memerlukan pengetahuan terkini atau hak milik, ini merupakan masalah mendasar.

Halusinasi terjadi ketika LLM menghasilkan teks yang terdengar meyakinkan, tetapi secara faktual salah. Model dilatih untuk menghasilkan teks yang lancar dan koheren — bukan secara khusus dilatih untuk menolak ketika tidak mengetahui sesuatu. Akibatnya, model mengisi kekosongan pengetahuan dengan tebakan yang masuk akal. Berbagai penelitian menunjukkan bahwa bahkan model terbaik pun berhalusinasi dalam tugas yang membutuhkan banyak pengetahuan sebanyak 10-40% dari waktu yang ada tanpa landasan eksternal.

Bayangkan Anda menanyakan kepada LLM: Apa saja ketentuan kontrak vendor perusahaan kita untuk kuartal ketiga 2025? Model tersebut belum pernah melihat dokumen internal Anda. Alih-alih mengatakan bahwa ia tidak tahu, model mungkin menghasilkan ringkasan kontrak yang terdengar masuk akal dengan menggunakan bahasa hukum umum. Jika seorang karyawan bertindak berdasarkan informasi yang dibuat-buat itu, konsekuensinya dapat serius. Inilah mode kegagalan yang secara khusus dirancang untuk dicegah oleh RAG.

Gagasan di balik RAG sederhana: jika Anda memberikan informasi yang relevan di dalam perintah, model tidak perlu mengandalkan pengetahuan yang dihafalnya. Model beralih dari menghasilkan dari ingatan menjadi membaca dari konteks. Begitu pula cara manusia bekerja — ketika memerlukan detail yang tepat, Anda mencarinya alih-alih mengandalkan ingatan. RAG menerapkan alur kerja yang sama untuk LLM.

Salah kaprah yang umum adalah bahwa penyetelan halus model menggunakan dokumen Anda dapat memperbaiki halusinasi. Penyetelan halus memperbarui bobot model untuk meningkatkan gaya, format, dan kepatuhan terhadap tugas, tetapi tidak secara andal memasukkan pengetahuan faktual. Berbagai penelitian menunjukkan bahwa model yang telah disetel halus masih berhalusinasi bahkan pada data pelatihannya sendiri. Agar dapat diingat secara andal, pengetahuan harus diberikan pada waktu inferensi melalui jendela konteks.

Karena RAG mengambil informasi dari penyimpanan dokumen yang terus diperbarui, RAG secara alami dapat menangani pengetahuan yang berubah seiring waktu. Ketika dokumen kebijakan Anda diperbarui, Anda cukup membuat ulang indeksnya, dan setiap kueri berikutnya langsung menggunakan versi baru—tanpa perlu melatih ulang model. Hal ini membuat RAG jauh lebih praktis daripada penyetelan halus berkala untuk aplikasi seperti basis pengetahuan internal, sistem dukungan pelanggan, dan alat riset keuangan.

Sebagian besar data perusahaan tidak dapat dikirim ke OpenAI untuk pelatihan karena persyaratan privasi dan kepatuhan. RAG mengatasi hal ini: dokumen sensitif Anda tetap berada di basis data vektor milik Anda sendiri, dan hanya potongan yang relevan yang dikirim ke LLM untuk setiap kueri. Anda bahkan dapat menjalankan LLM lokal seperti Llama 3 agar semua data tetap berada di lingkungan lokal. RAG adalah pola utama untuk membangun AI di atas konten perusahaan yang bersifat rahasia.

Ketika LLM menghasilkan jawaban dari ingatannya, tidak ada sumber yang dapat dikutip. Ketika LLM menghasilkan jawaban dari dokumen yang diambil, LLM dapat mengutip sumber yang tepat. Anda dapat menginstruksikan model untuk menyertakan nama dokumen dan nomor halaman dalam jawabannya, lalu pengguna dapat mengekliknya untuk memverifikasi sumber asli. Atribusi sumber secara drastis meningkatkan kepercayaan terhadap jawaban yang dihasilkan AI, yang sangat penting dalam aplikasi hukum, medis, dan keuangan.

RAG mengikuti pola dua langkah pada waktu inferensi: Ambil—ubah pertanyaan pengguna menjadi representasi vektor, cari potongan dokumen yang paling relevan di penyimpanan vektor, lalu kumpulkan hasil teratas sebanyak K. Hasilkan—susun perintah yang menyertakan potongan yang diambil sebagai konteks, lalu minta LLM menjawab pertanyaan hanya berdasarkan konteks tersebut. LLM membaca, menyintesis, dan memberikan respons.

RAG memang kuat, tetapi bukan solusi untuk segala hal. RAG tetap gagal ketika jawaban memerlukan sintesis dari ratusan dokumen (pengambilan hanya mengembalikan beberapa potongan), pertanyaannya secara inheren multi-langkah dan model perlu menalar melalui langkah-langkah perantara, atau potongan yang diambil menyesatkan atau saling bertentangan. Memahami keterbatasan ini membantu Anda merancang sistem hibrida yang menggabungkan RAG dengan agen penalaran.

Anda memiliki tiga pilihan utama untuk memberikan pengetahuan domain kepada LLM: memasukkan seluruh isi ke dalam perintah (menaruh semuanya di dalam perintah—hanya cocok untuk korpus yang sangat kecil), penyetelan halus (melatih gaya dan format dengan baik, tetapi tidak andal untuk mengingat fakta), dan RAG (mengambil fakta yang relevan secara dinamis pada waktu inferensi serta dapat menangani jutaan dokumen). Untuk sebagian besar kasus penggunaan produksi yang memerlukan pengetahuan terkini, privat, atau berskala besar, RAG adalah pilihan yang tepat.

Uji pemahaman Anda tentang konsep Rekayasa AI dari pelajaran ini.

Dalam pelajaran ini Anda mempelajari: alasan LLM berhalusinasi karena batas waktu pengetahuan dan ketidakmampuannya mengatakan “Saya tidak tahu”, alasan penyetelan halus tidak menyelesaikan halusinasi dalam mengingat fakta, serta cara RAG mendasarkan jawaban pada dokumen yang diambil sehingga memungkinkan atribusi sumber, pengetahuan waktu nyata, dan penggunaan data privat yang aman. Selanjutnya kita akan mempelajari arsitektur RAG lengkap, termasuk fase pengindeksan dan pengambilannya.