Hilang di Tengah

Pada model dengan konteks panjang, akurasi pengambilan mengikuti kurva berbentuk U berdasarkan posisi: fakta di awal dan akhir konteks dapat diingat dengan baik, sedangkan fakta di tengah paling buruk diingat. Inilah efek “hilang di tengah”.

• Ini merupakan sifat perhatian dan pelatihan, bukan kejadian acak.
• Efek ini tetap ada meskipun jawabannya jelas-jelas terdapat dalam konteks.

Posisi tidaklah netral; posisi merupakan faktor keandalan yang harus Anda perhitungkan dalam perancangan.

Beberapa tekanan berpadu di bagian tengah: bias posisi mengutamakan token terbaru dan token paling awal, data pelatihan terlalu banyak memuat pola “jawaban berada di awal atau akhir”, dan banyaknya pengalih perhatian yang saling bersaing di bagian dalam mengurangi perhatian pada setiap fakta tertentu.

Anda tidak dapat menghapus bias dari model, tetapi Anda dapat berhenti melawannya.

Mitigasi pertama dan paling andal: letakkan hal yang harus digunakan model di batas-batas konteks. Instruksi tugas dan bukti dengan nilai tertinggi sebaiknya berada di dekat bagian atas dan bawah, bukan terkubur di tengah.

• Awali dengan tugas dan fakta-fakta utama.
• Ulangi instruksi inti di bagian paling akhir (“pengingat tugas Anda: ...”).

Saat Anda mengendalikan urutan potongan yang diambil, jangan menumpuknya dari depan ke belakang berdasarkan urutan skor pengambilan. Selang-selingkan penempatannya agar potongan paling relevan berada di kedua tepi dan potongan paling tidak relevan mengisi bagian tengah—dengan sengaja memanfaatkan kurva berbentuk U.

“Pemuatan tepi” ini dapat memulihkan sebagian besar kehilangan pada posisi tengah.

Perbaikan termurah untuk mengatasi kehilangan di tengah adalah mengurangi bagian tengahnya. Penyaringan awal yang agresif—membuang potongan yang tidak relevan sebelum perakitan—memperkecil bagian dalam tempat fakta dapat hilang dan memusatkan perhatian pada hal yang penting.

Perintah terfokus berisi 15 ribu token hampir tidak memiliki bagian tengah yang rentan; perintah berisi 600 ribu token sebagian besar terdiri dari bagian tengah.

Berikan peta kepada model. Daftar isi di bagian atas, ditambah penanda bagian yang jelas, memungkinkan model menavigasi wilayah yang relevan, alih-alih mengandalkan daya ingat posisi mentah.

• Nomori bagian dan rujuk bagian tersebut dalam pertanyaan.
• Tambahkan penanda eksplisit seperti SECTION 7: PRICING yang dapat dicari model.

Struktur hanya sebagian menggantikan keandalan posisi.

Minta model mencantumkan tempat munculnya materi yang relevan sebelum menjawab. Tindakan menemukan bukti terlebih dahulu melawan kecenderungan untuk melewati bagian tengah.

“Pertama, cantumkan setiap bagian yang menyebutkan biaya perpanjangan beserta penandanya, lalu jawab.” Pemindaian eksplisit menampilkan konten di tengah yang mungkin terlewat oleh pertanyaan langsung.

Jika fakta penting berada di zona mati dan daya ingatnya tidak kuat, jalankan kembali panggilan dengan memindahkan fakta tersebut ke tepi. Untuk tugas dengan banyak fakta, Anda dapat menjalankan beberapa putaran yang memutar fakta mana yang menempati posisi kuat, lalu menyelaraskan hasilnya.

Rotasi posisi merupakan trik praktis untuk meningkatkan ketahanan ketika satu tata letak tidak dapat diandalkan.

Untuk tugas menyeluruh (“temukan semua pelanggaran”), satu putaran raksasa akan melewatkan beberapa item di tengah. Bagi menjadi jendela yang saling tumpang tindih dan cukup kecil sehingga tidak memiliki bagian tengah yang lemah, jalankan masing-masing, lalu gabungkan dan hapus duplikasi hasilnya.

• Tumpang tindih mencegah informasi di batas terlewat.
• Langkah penggabungan menyelaraskan duplikasi dan konflik.

Tugas cakupan lebih cocok menggunakan banyak putaran kecil daripada satu putaran besar.

Tingkat keparahan efek ini berbeda-beda menurut model dan bentuk perintah. Karakterisasikan efeknya: sisipkan penanda uji pada kedalaman yang beragam, lalu plot daya ingatnya. Gunakan kurva tersebut untuk menentukan panjang konteks yang aman dan kebijakan pemuatan tepi untuk model itu.

Rancang sistem berdasarkan perilaku yang terukur, bukan cerita yang diwariskan.

Untuk mengatasi efek hilang di tengah: kurangi tumpukan jerami, muat konten paling relevan ke tepi, nyatakan kembali tugas di bagian akhir, tambahkan indeks dan paksa pemindaian untuk menemukan informasi sebelum menjawab, putar posisi saat bertanya ulang, serta gunakan pemotongan dan penggabungan untuk cakupan menyeluruh. Yang terpenting, ukur kurva untuk model Anda dan rancang sistem berdasarkan kurva tersebut.

Anda memiliki satu fakta yang wajib digunakan dan sejumlah besar konteks pendukung, serta menyadari bahwa model terkadang mengabaikan fakta tersebut.

Daya ingat pada konteks panjang berbentuk U: tepi dapat diandalkan, sedangkan bagian tengah tidak. Atasi hal ini dengan mengurangi tumpukan jerami, memuat potongan paling relevan ke tepi, menyatakan kembali tugas di bagian akhir, menambahkan indeks dan memaksa pemindaian untuk menemukan informasi sebelum menjawab, memutar posisi saat bertanya ulang, serta menggunakan pemotongan dan penggabungan untuk cakupan menyeluruh. Ukur kurva aktual model Anda dan rancang penempatan berdasarkan kurva tersebut, bukan dengan mengandalkan daya ingat yang seragam.