Mengesan dan Mengurangkan Halusinasi

Halusinasi ialah keadaan apabila LLM menghasilkan teks yang lancar dan yakin tetapi salah dari segi fakta atau tidak disokong oleh mana-mana sumber.

Oleh sebab output kelihatan berwibawa, halusinasi berbahaya dalam aplikasi yang berhadapan dengan pengguna.

LLM meramalkan token seterusnya yang paling berkemungkinan, bukannya kebenaran. Tanpa asas rujukan, LLM mengisi jurang dengan rekaan yang kedengaran munasabah.

• Pengetahuan tiada dalam data latihan
• Gesaan yang samar atau mengarah
• Tekanan untuk sentiasa menjawab

Dua kategori umum:

• Fakta: tarikh yang salah, petikan palsu, API yang direka
• Kesetiaan: jawapan bercanggah dengan konteks yang diberikan (biasa dalam RAG)

Pertahanan paling kukuh ialah pembinaan asas: berikan teks sumber yang dipercayai kepada model dan arahkan model supaya menjawab hanya berdasarkan teks tersebut.

Minta model menyatakan petikan yang menyokong setiap dakwaan. Ayat yang tidak disokong menjadi mudah dikenal pasti dan disahkan.

Suhu yang lebih tinggi meningkatkan kreativiti — dan rekaan. Untuk tugasan berfakta, tetapkan suhu yang rendah supaya model kekal hampir dengan token yang berkemungkinan tinggi dan mempunyai asas yang kukuh.

Jana jawapan beberapa kali. Jika model memberikan fakta yang berbeza pada setiap cubaan, dakwaan itu mungkin merupakan halusinasi. Persetujuan ialah isyarat kebolehpercayaan yang lemah tetapi berguna.

Gunakan panggilan model kedua untuk menyemak sama ada jawapan disokong oleh konteks. Pengadil mengembalikan keputusan kesetiaan yang boleh anda ambil tindakan.

Apabila output berstruktur, sahkannya. URL yang dipetik sepatutnya boleh dicapai, nombor yang dipetik sepatutnya sepadan dengan sumber dan medan JSON sepatutnya sepadan dengan skema.

Berikan model kebenaran untuk berkata saya tidak tahu. Menghapuskan tekanan untuk sentiasa menjawab mengurangkan kandungan rekaan dengan ketara.

Untuk output perubatan, undang-undang atau kewangan, salurkan jawapan yang berkeyakinan rendah atau tidak mempunyai petikan kepada manusia sebelum memaparkannya kepada pengguna. Automasi bersama pengawasan lebih baik daripada salah satu sahaja.

Anda telah mempelajari cara menangani halusinasi: bina jawapan berdasarkan konteks yang dipercayai, paksa penggunaan petikan, turunkan suhu, gunakan semakan konsistensi kendiri dan LLM sebagai pengadil, sahkan output secara program, benarkan model berkecuali serta tambahkan semakan manusia untuk kes berisiko tinggi.