Menilai Prestasi Sistem RAG

Langkah pertama dalam RAG ialah mendapatkan konteks yang baik. Kita menggunakan metrik khusus untuk menilai sejauh mana sistem kita memperoleh maklumat.

• Perkaitan Konteks: Sejauh manakah maklumat yang diperoleh berkaitan dengan pertanyaan asal pengguna?
• Ingatan Semula Konteks: Adakah sistem memperoleh *semua* maklumat yang diperlukan untuk menjawab soalan?
• Metrik ini memastikan LLM mempunyai asas terbaik untuk menjana jawapan.

Perkaitan Konteks mengukur sama ada dokumen atau petikan yang diperoleh benar-benar berkaitan dengan soalan pengguna.

Bayangkan anda bertanya tentang 'panel solar' tetapi menerima artikel tentang 'turbin angin'. Itu menunjukkan perkaitan konteks yang rendah. Perkaitan yang tinggi bermaksud teks yang diperoleh menjawab topik pertanyaan secara langsung.

Hal ini sering dinilai dengan membandingkan pertanyaan dengan setiap bahagian konteks yang diperoleh.

Ingatan Semula Konteks memfokuskan kelengkapan. Metrik ini bertanya: 'Adakah sistem RAG memperoleh *semua* maklumat kritikal yang diperlukan untuk menjawab soalan pengguna sepenuhnya?'

Walaupun dokumen yang diperoleh berkaitan, jika dokumen itu tidak mengandungi fakta penting, ingatan semula adalah rendah. Sebagai contoh, jika soalan memerlukan 3 fakta untuk dijawab dengan lengkap tetapi hanya 2 fakta diperoleh, ingatan semula tidak sempurna.

Metrik ini amat penting untuk soalan kompleks.

Setelah konteks diperoleh, LLM menjana jawapan. Kita perlu menilai kualiti teks yang dijana ini.

• Kesetiaan Jawapan (Berpaksikan Konteks): Adakah jawapan semata-mata berdasarkan konteks yang diberikan, atau adakah jawapan itu 'mengada-adakan' maklumat?
• Perkaitan Jawapan: Adakah jawapan menjawab soalan asal pengguna secara langsung?
• Koheren Jawapan: Adakah jawapan tersusun dengan baik, mudah dibaca dan betul dari segi tatabahasa?

Kesetiaan amat penting untuk RAG. Kesetiaan mengukur sama ada setiap pernyataan dalam jawapan yang dijana boleh disokong secara langsung oleh konteks yang diperoleh.

Jika LLM menambahkan maklumat yang tiada dalam konteks, jawapan itu dianggap tidak setia atau 'direka-reka'. Hal ini boleh menyebabkan jawapan yang salah atau mengelirukan.

Contoh: Jika konteks menyatakan 'A ialah B' tetapi jawapan menyatakan 'A ialah C', jawapan itu tidak setia.

Perkaitan Jawapan memastikan jawapan yang dijana menjawab soalan pengguna secara langsung tanpa menyimpang daripada topik.

Koheren Jawapan menilai kebolehbacaan, aliran logik dan ketepatan tatabahasa jawapan. Jawapan yang koheren mudah difahami dan tersusun dengan baik.

• Perkaitan: Adakah jawapan menjawab soalan?
• Koheren: Adakah jawapan ditulis dengan baik dan mudah dibaca?

Bagaimanakah kita sebenarnya mengukur metrik ini?

• Penilaian Manusia: Piawaian emas, tetapi lambat dan mahal. Penilai manusia memberikan skor secara manual berdasarkan garis panduan.
• Penilaian Automatik: Lebih pantas dan boleh diskalakan. Penilaian ini menggunakan LLM lain atau kaedah statistik untuk memberikan skor kepada jawapan. Penilaian ini mungkin kurang bernuansa, tetapi sesuai untuk set data besar dan pemeriksaan yang kerap.
• Lazimnya, gabungan kedua-duanya digunakan: penilaian manusia untuk kes kritikal, manakala penilaian automatik untuk pembangunan dan pengujian berskala besar.

Syabas! Anda telah mempelajari cara menilai sistem RAG anda.

• Kita menilai kualiti pendapatan maklumat (perkaitan konteks, ingatan semula konteks) dan kualiti penjanaan (kesetiaan, perkaitan, koheren).
• Perkaitan Konteks memastikan maklumat yang diperoleh berkaitan dengan topik.
• Ingatan Semula Konteks memeriksa sama ada semua maklumat yang diperlukan telah diperoleh.
• Kesetiaan Jawapan menghalang maklumat yang direka-reka dengan memastikan jawapan berpaksikan konteks.
• Perkaitan Jawapan memastikan jawapan kekal tertumpu pada soalan, manakala Koheren memastikan kebolehbacaan.
• Kaedah manusia dan automatik digunakan untuk penilaian.