Evaluasi Per Respons dan Berpasangan

Ada dua pendekatan mendasar untuk evaluasi LLM: pemberian skor pointwise dan perbandingan pairwise. Pointwise memberikan skor absolut kepada satu respons berdasarkan rubrik. Pairwise menanyakan respons mana yang lebih baik di antara dua respons. Masing-masing memiliki keunggulan: pointwise menghasilkan angka kualitas absolut yang berguna untuk pemantauan dari waktu ke waktu; pairwise lebih baik dalam menangkap perbedaan kualitas yang halus dan digunakan untuk pengujian A/B pada berbagai versi model.

Dalam evaluasi pointwise, penilai memberikan skor pada skala tetap (biasanya 1–5 atau 1–10) untuk satu atau beberapa dimensi kualitas: ketepatan, kebermanfaatan, kejelasan, dan keamanan. Skor tersebut tidak bergantung pada respons lain — skor 4/5 menunjukkan kualitas yang sama terlepas dari jawaban lain yang tersedia. Hal ini membuat skor pointwise dapat dibandingkan secara langsung dari waktu ke waktu, antar-model, dan antarversi perintah.

Kualitas skor pointwise sepenuhnya bergantung pada rubrik. Tentukan contoh acuan untuk setiap tingkat skor agar penilai memiliki referensi yang konkret. Untuk ketepatan, skor 5 berarti 'Setiap klaim akurat secara faktual dan dapat diverifikasi.' Skor 3 berarti 'Sebagian besar akurat, tetapi mengandung satu kesalahan kecil.' Skor 1 berarti 'Mengandung kesalahan faktual besar yang dapat menyesatkan pengguna.' Acuan yang konkret mengurangi variasi skor.

Dalam evaluasi pairwise, penilai menerima dua respons untuk pertanyaan yang sama dan menentukan mana yang lebih baik, atau menyatakan hasil seri. Pairwise lebih peka terhadap perbedaan kualitas yang halus daripada pemberian skor pointwise — manusia dan penilai LLM lebih mampu mengatakan 'yang ini lebih baik' daripada menetapkan angka yang tepat. Gunakan perbandingan pairwise saat menguji perubahan perintah, berbagai versi model, atau model yang disetel secara khusus melalui pengujian A/B.

Penilai LLM menunjukkan bias posisi: mereka secara sistematis lebih menyukai respons pertama (bias keutamaan) atau respons terakhir (bias keterkinian). Untuk menghilangkan bias ini, jalankan setiap pasangan dua kali dengan urutan ditukar dan nyatakan pemenang hanya jika penilai memberikan pilihan yang sama pada kedua urutan. Jika penilai memilih A pada urutan pertama dan B pada urutan kedua, nyatakan hasil seri — penilai tidak cukup yakin untuk membedakan keduanya.

Gunakan pointwise untuk: memantau kualitas absolut dari waktu ke waktu, mendeteksi kemunduran setelah pembaruan, dan mengevaluasi terhadap persyaratan yang ketat (keamanan, kepatuhan terhadap kebijakan). Gunakan pairwise untuk: memilih antara dua versi model, memilih antara strategi perintah yang bersaing, dan melakukan pengujian A/B saat preferensi relatif lebih penting daripada kualitas absolut. Banyak sistem produksi menggunakan keduanya.

Evaluasi pointwise dan pairwise sama-sama memerlukan kumpulan uji yang dikurasi: sekumpulan pertanyaan yang mewakili distribusi nyata pertanyaan pengguna. Sertakan kasus batas, kasus umum, dan kasus adversarial. Usahakan setidaknya 100 contoh untuk perbandingan pairwise dan 200 contoh untuk pemantauan pointwise. Kumpulan uji yang terlalu kecil menghasilkan hasil yang tidak andal secara statistik dan dapat menyebabkan keputusan yang keliru.

Hitung tingkat kemenangan untuk perbandingan pairwise: proporsi kasus uji ketika versi B mengungguli versi A. Tingkat kemenangan 50% berarti tidak ada perbedaan. Tingkat kemenangan di atas 60% pada lebih dari 100 sampel biasanya cukup untuk memilih versi B. Di bawah 60% dengan jumlah sampel yang sama, perbedaannya mungkin tidak signifikan secara statistik. Gunakan uji binomial atau bootstrap untuk menghitung interval kepercayaan.

Gunakan kedua mode evaluasi secara bersamaan untuk mengambil keputusan yang kuat. Jalankan pemberian skor pointwise pada seluruh kumpulan uji untuk memperoleh tolok ukur kualitas absolut. Jalankan perbandingan pairwise hanya pada subset yang skor pointwise-nya berbeda antarversi — inilah kasus yang diperdebatkan, saat penilaian preferensi yang menyerupai manusia memberikan manfaat terbesar. Pendekatan hibrida ini mengurangi biaya API penilai sekaligus meningkatkan keyakinan terhadap keputusan.

Hasil evaluasi adalah perkiraan, bukan kebenaran dasar. Model penilai memiliki bias dan keterbatasan kemampuannya sendiri. Bersikaplah skeptis terhadap perbedaan yang sangat kecil (delta tingkat kemenangan kurang dari 5% atau delta skor pointwise 0,2) — perbedaan tersebut mungkin tidak mencerminkan perbedaan kualitas nyata yang akan diperhatikan pengguna. Selalu periksa kewajaran hasil yang mengejutkan dengan membaca 10–20 contoh secara manual sebelum mengambil keputusan penerapan hanya berdasarkan skor otomatis.

Tentukan seberapa sering Anda menjalankan setiap jenis evaluasi. Jalankan pemeriksaan pointwise pada setiap permintaan penggabungan (100 kasus, cepat). Jalankan pointwise lengkap setiap minggu (300+ kasus, lebih lambat). Jalankan perbandingan pairwise hanya saat mengambil keputusan perubahan model atau perintah secara eksplisit. Perbarui kumpulan uji setiap tiga bulan dengan mengganti 10–15% kasus menggunakan sampel baru dari pertanyaan produksi terbaru. Kumpulan uji yang tidak diperbarui tidak lagi mencerminkan populasi pengguna Anda yang sebenarnya.

Dalam pelajaran ini Anda mempelajari bahwa pemberian skor pointwise menetapkan angka kualitas absolut yang berguna untuk memantau tren dari waktu ke waktu, perbandingan pairwise lebih baik dalam mendeteksi perbedaan kualitas yang halus dan ideal untuk pengujian A/B, serta mitigasi bias posisi mengharuskan setiap pasangan dijalankan dalam kedua urutan sebelum pemenang ditetapkan. Selanjutnya, kita akan mengalibrasi model penilai terhadap penilaian manusia.