Hilang di Tengah
Kesan perhatian berdasarkan kedudukan.
Hilang di Tengah ialah pelajaran Kejuruteraan Arahan AI percuma di CoddyKit. Ini ialah pelajaran 2 daripada 4. Sebanyak 3 pelajaran dalam laluan pembelajaran ini boleh dibaca sepenuhnya secara percuma — selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan praktikal dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Kejuruteraan Arahan AI, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Kejuruteraan Arahan AI merangkumi sejumlah 4 pelajaran.
Kesan Hilang di Tengah
Merentas model berkonteks panjang, ketepatan capaian semula mengikut kedudukan membentuk lengkung berbentuk U: fakta pada awal dan akhir konteks diingati semula dengan baik, manakala fakta di tengah diingati semula dengan paling teruk. Inilah kesan 'hilang di tengah'.
- Ini ialah sifat perhatian dan latihan, bukannya perkara rawak.
- Kesan ini berterusan walaupun jawapan jelas terdapat dalam konteks.
Kedudukan bukanlah neutral; kedudukan ialah faktor kebolehpercayaan yang mesti anda ambil kira dalam reka bentuk.
Mengapa Bahagian Tengah Terjejas
Beberapa tekanan bergabung di bahagian tengah: bias kedudukan memihak kepada token terbaharu dan paling awal, data latihan terlalu banyak memaparkan corak 'jawapan berdekatan dengan awal atau akhir', dan jumlah gangguan yang banyak di bahagian dalaman mencairkan perhatian terhadap mana-mana satu fakta.
Anda tidak boleh menghapuskan bias daripada model, tetapi anda boleh berhenti melawannya.
Letakkan Kandungan Kritikal di Hujung
Mitigasi pertama dan paling boleh dipercayai: letakkan perkara yang model mesti gunakan di sempadan. Arahan tugas dan bukti yang paling bernilai hendaklah diletakkan berdekatan bahagian atas dan bawah, bukannya tertanam di tengah.
- Mulakan dengan tugas dan fakta utama.
- Ulangi arahan teras di bahagian paling akhir ('peringatan tentang tugas anda: ...').
context = (
TASK_INSTRUCTION +
KEY_EVIDENCE +
bulk_supporting_material +
TASK_REMINDER # restate at the tail
)Peletakan Mengikut Kepentingan
Apabila anda mengawal susunan cebisan yang dicapai semula, jangan letakkannya mengikut susunan skor capaian semula dari depan ke belakang. Selang-selikan cebisan supaya cebisan yang paling berkaitan berada di kedua-dua hujung dan cebisan yang paling kurang berkaitan memenuhi bahagian tengah — memanfaatkan lengkung U dengan sengaja.
'Pemuatan tepi' ini boleh memulihkan sebahagian besar kehilangan pada kedudukan tengah.
def edge_load(chunks):
# chunks sorted by relevance desc
head, tail = [], []
for i, c in enumerate(chunks):
(head if i % 2 == 0 else tail).append(c)
return head + list(reversed(tail))Kurangkan Timbunan Jerami
Penyelesaian paling murah untuk kehilangan di tengah ialah mengurangkan bahagian tengah. Penapisan awal yang agresif — membuang cebisan yang tidak berkaitan sebelum penyusunan — mengecilkan bahagian dalaman tempat fakta hilang dan menumpukan perhatian pada perkara yang penting.
Gesaan 15k token yang terfokus hampir tidak mempunyai bahagian tengah yang terdedah; gesaan 600k token pula kebanyakannya terdiri daripada bahagian tengah.
Petunjuk dan Pengindeksan
Berikan model sebuah peta. Jadual kandungan di bahagian atas bersama penanda bahagian yang jelas membolehkan model menavigasi ke kawasan yang berkaitan, bukannya bergantung pada ingatan semula berdasarkan kedudukan semata-mata.
- Nomborkan bahagian dan rujuknya dalam soalan.
- Tambahkan penanda yang jelas seperti SECTION 7: PRICING yang boleh dicari oleh model.
Struktur menggantikan sebahagian kebergantungan pada kebolehpercayaan kedudukan.
# Top of prompt
# INDEX: [S1 Overview] [S2 Risks] [S3 Pricing] [S4 Appendix]
# Question: 'Using S3 only, what is the renewal fee?'Paksa Imbasan Sebelum Menjawab
Minta model menyenaraikan lokasi bahan yang berkaitan sebelum menjawab. Tindakan mencari bukti terlebih dahulu mengimbangi kecenderungan untuk melangkau bahagian tengah.
'Mula-mula senaraikan setiap bahagian yang menyebut yuran pembaharuan berserta penandanya, kemudian jawab.' Imbasan yang jelas ini mendedahkan kandungan di tengah yang mungkin terlepas daripada soalan langsung.
ask = (
'Step 1: list all anchors mentioning the topic. '
'Step 2: quote the relevant line from each. '
'Step 3: answer using only those quotes.'
)Tanya Semula dengan Menukar Kedudukan
Jika fakta kritikal berada dalam zon mati dan ingatan semula tidak kukuh, keluarkan semula panggilan dengan fakta itu dipindahkan ke hujung. Untuk tugas yang melibatkan banyak fakta, anda boleh menjalankan beberapa pusingan yang memutarkan fakta yang menempati kedudukan kukuh, kemudian menyelaraskan hasilnya.
Putaran kedudukan ialah helah keteguhan praktikal apabila satu susun atur tidak boleh dipercayai.
Cebisan-dan-Gabung untuk coverage
Untuk tugas menyeluruh ('cari semua pelanggaran'), satu laluan gergasi akan terlepas item di tengah. Bahagikan tugas kepada tetingkap bertindih yang cukup kecil sehingga tidak mempunyai bahagian tengah yang lemah, jalankan setiap satu, kemudian gabungkan dan buang pendua hasilnya.
- Pertindihan menghalang item di sempadan daripada terlepas.
- Langkah penggabungan menyelaraskan pendua dan konflik.
Tugas coverage lebih memihak kepada banyak laluan kecil berbanding satu laluan besar.
def coverage(doc, win, overlap):
out = []
for w in windows(doc, win, overlap):
out += extract(w)
return dedupe(out)Ukur Lengkung U Anda Sendiri
Keterukan kesan ini berbeza mengikut model dan bentuk gesaan. Ciri-cirikan kesan tersebut: masukkan penanda pada pelbagai kedalaman dan plotkan ingatan semula. Gunakan lengkung itu untuk menentukan panjang konteks yang selamat dan dasar pemuatan tepi bagi model tersebut.
Reka bentuk berdasarkan tingkah laku yang diukur, bukan kepercayaan umum.
depths = [0.0, 0.25, 0.5, 0.75, 1.0]
recall = {d: probe_canary_at(d) for d in depths}
# Expect a dip around 0.5Panduan Keteguhan Kedudukan
Untuk mengatasi kesan hilang di tengah: kurangkan timbunan jerami, muatkan kandungan paling berkaitan di hujung, nyatakan semula tugas di bahagian akhir, tambahkan indeks dan paksa imbasan cari-sebelum-jawab, putarkan kedudukan apabila bertanya semula, serta gunakan cebisan-dan-penggabungan untuk coverage menyeluruh. Yang paling penting, ukur lengkung bagi model anda dan reka bentuk berdasarkan lengkung itu.
Semakan Pantas
Anda mempunyai satu fakta yang mesti digunakan serta sejumlah besar konteks sokongan, dan anda mendapati bahawa model kadangkala mengabaikan fakta tersebut.
Imbas Kembali: Kesan Perhatian Berdasarkan Kedudukan
Ingatan semula dalam konteks panjang berbentuk U: hujung boleh dipercayai, tetapi bahagian tengah tidak. Atasinya dengan mengurangkan timbunan jerami, memuatkan cebisan paling berkaitan di hujung, menyatakan semula tugas di bahagian akhir, menambahkan indeks dan memaksa imbasan cari-sebelum-jawab, memutarkan kedudukan apabila bertanya semula, serta menggunakan cebisan-dan-penggabungan untuk coverage menyeluruh. Ukur lengkung sebenar model anda dan reka bentuk peletakan berdasarkannya, bukannya mempercayai ingatan semula yang seragam.
Pelajari Kejuruteraan Arahan AI dengan tutor kecerdasan buatan — percuma
Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.
- Kursus
- 53
- Pelajaran
- 199
Soalan Lazim
Adakah pelajaran “Hilang di Tengah” percuma?
Ya — sebanyak 3 pelajaran dalam laluan pembelajaran Kejuruteraan Arahan AI, termasuk “Hilang di Tengah”, boleh dibaca sepenuhnya secara percuma di web ini. Selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan interaktif dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Kursus Kejuruteraan Arahan AI merangkumi sejumlah 4 pelajaran.
Apakah yang akan saya pelajari dalam “Hilang di Tengah”?
Kesan perhatian berdasarkan kedudukan. Anda berlatih Kejuruteraan Arahan AI menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.
Adakah saya memerlukan pengalaman untuk memulakan Kejuruteraan Arahan AI?
Tiada pengalaman terdahulu diperlukan. Pembelajaran Kejuruteraan Arahan AI di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 2 daripada 4.
Berapa lamakah pelajaran “Hilang di Tengah” diambil?
Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.
Bolehkah saya menulis dan menjalankan kod dalam pelajaran Kejuruteraan Arahan AI ini?
Ya. Setiap pelajaran Kejuruteraan Arahan AI menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.
Semua pelajaran dalam kursus ini
- Tetingkap Konteks Sejuta Token
- Hilang di Tengah
- Menstrukturkan Arahan yang Sangat Besar
- Menyimpan Awalan Panjang dalam Cache