Metrik Utama untuk Prestasi RAG

Apabila membina sistem Retrieval Augmented Generation (RAG), sekadar menggunakan sistem tersebut tidak mencukupi. Kita perlu tahu sama ada sistem itu benar-benar berfungsi dengan baik!

Menilai RAG lebih kompleks daripada menilai Model Bahasa Besar (LLM) kendiri kerana proses ini melibatkan dua peringkat utama: pengambilan semula dan penjanaan.

Metrik penilaian LLM tradisional sering menumpukan kualiti teks yang dijana, seperti kelancaran atau koheren. Namun, sistem RAG mempunyai matlamat khusus:

• Menyediakan jawapan yang berasaskan fakta.
• Mengelakkan 'halusinasi' (mereka-reka maklumat).
• Menggunakan hanya maklumat yang berkaitan daripada data anda.

Hal ini memerlukan set metrik yang khusus.

Metrik utama yang pertama ialah Kaitan Konteks.

• Metrik ini mengukur sejauh mana dokumen yang diambil semula atau 'konteks' berkaitan dengan soalan asal pengguna.
• Jika pengambil semula mendapatkan maklumat yang tidak berkaitan, LLM tidak akan mempunyai bahan yang baik untuk digunakan, lalu menghasilkan jawapan yang kurang baik.

Kaitan konteks yang tinggi bermaksud pengambil semula anda menjalankan tugasnya dengan baik!

Katakanlah seorang pengguna bertanya: "Apakah manfaat memakan epal?"

Konteks Baik: "Epal kaya dengan serat, vitamin C dan antioksidan..." (Kaitan tinggi)

Konteks Lemah: "Oren ialah buah sitrus. Epal boleh berwarna hijau atau merah..." (Kaitan rendah untuk 'manfaat')

Kualiti konteks yang diambil semula memberi kesan langsung terhadap keupayaan LLM untuk menjawab dengan betul.

Seterusnya, kita mempunyai Kesetiaan (juga dipanggil 'berasaskan sumber').

• Metrik ini menyemak sama ada jawapan yang dijana oleh LLM disokong sepenuhnya oleh konteks yang diambil semula.
• Metrik ini penting untuk mencegah 'halusinasi' – keadaan apabila LLM mereka-reka fakta yang tiada dalam bahan sumber.

Sistem RAG yang setia hanya akan memberikan maklumat yang boleh disahkannya daripada sumbernya.

Soalan Pengguna: "Apakah ibu negara Perancis?"

Konteks Diambil Semula: "Paris ialah ibu negara Perancis, yang terkenal dengan Menara Eiffel."

Jawapan Setia: "Ibu negara Perancis ialah Paris." (Disokong oleh konteks)

Jawapan Tidak Setia: "Ibu negara Perancis ialah Lyon, sebuah bandar yang indah." (Tidak disokong oleh konteks)

Kaitan Jawapan menilai sama ada respons yang dijana oleh LLM menjawab secara langsung soalan asal pengguna.

• Walaupun jawapan itu setia dan berdasarkan konteks yang berkaitan, jawapan tersebut mungkin masih terlalu panjang, menyimpang atau tersasar daripada inti soalan.
• Metrik ini memastikan output akhir berguna dan tepat pada sasaran untuk pengguna.

Soalan Pengguna: "Bilakah internet dicipta?"

Konteks Diambil Semula: "Asal-usul internet boleh dijejaki hingga tahun 1960-an dengan ARPANET..."

Jawapan Berkaitan: "Asal-usul internet boleh dijejaki hingga tahun 1960-an dengan ARPANET."

Jawapan Tidak Berkaitan: "Internet ialah rangkaian komputer global. Internet telah merevolusikan komunikasi." (Tidak menjawab 'bila')

Walaupun metrik terdahulu menilai sistem RAG secara menyeluruh, metrik klasik Pengambilan Semula Maklumat (IR) seperti Kejituan dan Ingat Kembali amat penting untuk komponen pengambilan semula.

• Kejituan: Berapakah peratusan dokumen yang diambil semula sebenarnya berkaitan? (Meminimumkan dokumen yang tidak berkaitan)
• Ingat Kembali: Berapakah peratusan semua dokumen yang benar-benar berkaitan berjaya diambil semula? (Meminimumkan dokumen berkaitan yang terlepas)

Mengimbangi kedua-duanya ialah kunci untuk memberikan konteks terbaik yang mungkin kepada LLM.

Tahniah! Anda telah mempelajari metrik penting untuk menilai sistem RAG:

• Kaitan Konteks: Sejauh manakah baiknya maklumat yang diambil semula?
• Kesetiaan: Adakah jawapan itu selaras dengan konteks yang diambil semula?
• Kaitan Jawapan: Adakah jawapan itu menjawab soalan pengguna?
• Kejituan dan Ingat Kembali: Sejauh manakah berkesannya komponen pengambilan semula?

Penguasaan metrik ini membantu anda membina aplikasi RAG yang lebih tepat, boleh dipercayai dan berguna.