Menangani Dokumen Tanpa Jawaban dan Dokumen Panjang

Pertanyaan nyata sering kali tidak memiliki jawaban dalam bagian teks. Sistem QA yang tangguh seharusnya mengakuinya, bukan memaksakan tebakan yang salah. 🤔

Model yang dilatih untuk tugas ini mempelajari opsi jawaban kosong. Saat tidak ada rentang yang cocok, model menunjuk jawaban kosong alih-alih mengarangnya.

Dalam alur kerja, atur handle_impossible_answer ke true agar alur kerja dapat mengembalikan string kosong saat tidak ada yang cocok dalam konteks.

Skor kepercayaan adalah penyaring keamanan Anda. Jika nilainya berada di bawah ambang yang Anda percayai, perlakukan jawaban tersebut sebagai tidak ada jawaban.

Transformers memiliki panjang maksimum yang tetap, biasanya 512 token. Dokumen panjang tidak akan muat dalam satu proses.

Solusinya adalah pembagian menjadi bagian: pecah dokumen panjang menjadi jendela yang saling tumpang tindih, lalu jalankan QA pada setiap jendela secara terpisah.

Bagian-bagian tersebut sebaiknya sedikit tumpang tindih. Jika tidak, jawaban yang berada di batas bagian dapat terbelah dan hilang di antara dua jendela.

Alur kerja QA dapat melakukannya untuk Anda. Atur doc_stride untuk mengendalikan seberapa besar setiap jendela tumpang tindih dengan jendela sebelumnya.

Setiap bagian menghasilkan jawaban dan skor sendiri. Pertahankan kandidat dengan skor tertinggi dari semua bagian sebagai jawaban akhir.

Untuk kumpulan dokumen yang sangat besar, pertama-tama ambil beberapa bagian teks yang paling relevan, lalu jalankan QA hanya pada bagian tersebut. Inilah inti sistem QA yang lebih besar.

Mengembalikan tidak ada jawaban saat tidak yakin adalah sebuah fitur, bukan kekurangan. QA yang jujur jauh lebih mampu memperoleh kepercayaan pengguna daripada tebakan salah yang disampaikan dengan yakin. 🛡️

Izinkan jawaban kosong dan gunakan skor sebagai penyaring demi kejujuran; bagi dokumen panjang menjadi beberapa bagian yang saling tumpang tindih, lalu pertahankan rentang dengan skor terbaik. Kini Anda dapat menerapkan QA yang tangguh. 🎉