Jendela Konteks Sejuta Token

Jendela berkapasitas satu juta token memungkinkan Anda menempatkan seluruh basis kode, kumpulan dokumen, atau transkrip berdurasi berjam-jam langsung ke dalam konteks — tanpa memerlukan sistem pengambilan. Janjinya adalah segala sesuatu dalam konteks: model bernalar berdasarkan bahan mentah, bukan ringkasan yang kehilangan sebagian informasi.

• Penalaran dan refaktor seluruh repositori.
• Sintesis lintas dokumen tanpa pemotongan menjadi bagian-bagian.
• Percakapan jangka panjang yang mempertahankan detail awal.

Namun, kapasitas tidak sama dengan penggunaan yang efektif.

Jendela yang diiklankan adalah batas atas, bukan jaminan pengingatan yang seragam. Konteks efektif — rentang yang dapat diambil dan dipikirkan model secara andal — biasanya lebih kecil dan tidak merata di berbagai posisi.

Perlakukan jendela sebagai anggaran dengan nilai yang tidak seragam: token di dekat tepi lebih mudah diingat daripada token yang terkubur di bagian tengah.

Biaya perhatian bertambah seiring panjang konteks, begitu pula waktu hingga token pertama. Perintah sepanjang satu juta token dapat berarti latensi prapengisian selama beberapa detik dan biaya per panggilan yang besar, meskipun jawabannya singkat.

• Prapengisian mendominasi latensi untuk perintah yang sangat besar.
• Biaya meningkat sesuai jumlah token masukan, terlepas dari ukuran keluaran.
• Memasukkan konteks yang tidak Anda perlukan berarti membayar untuk membingungkan model.

Lebih banyak konteks dapat menurunkan akurasi. Bahan yang tidak relevan mengencerkan perhatian dan memperkenalkan pengalih perhatian yang mungkin menjadi fokus model. Perintah terarah sepanjang 20 ribu token sering kali lebih baik daripada perintah bising sepanjang 500 ribu token untuk pertanyaan tertentu.

Aturannya: sertakan hal yang membantu tugas, singkirkan hal yang sekadar mungkin relevan.

Konteks panjang unggul ketika tugas memerlukan penalaran global dan lintas bagian yang akan terpecah jika menggunakan pengambilan: 'temukan setiap tempat pelanggaran invarian ini di seluruh repositori', 'selaraskan kontradiksi di antara kesepuluh kontrak'. Pengambilan berbasis potongan dapat melewatkan hubungan yang melintasi beberapa potongan.

Gunakan konteks penuh untuk sintesis; gunakan pengambilan untuk pencarian informasi kecil dalam kumpulan yang sangat besar.

Pengambilan unggul ketika bagian yang relevan sangat kecil dan stabil. Mengambil 5 halaman yang relevan dari 50.000 halaman lebih murah, lebih cepat, dan sering kali lebih akurat daripada memasukkan seluruh 50.000 halaman lalu berharap model menemukannya.

• Permintaan berulang atas kumpulan statis -> buat indeks sekali, ambil dengan murah.
• Sintesis global satu kali -> gunakan konteks panjang.

Banyak sistem menggabungkan keduanya: lakukan pengambilan untuk mempersempit, lalu gunakan konteks panjang untuk menyintesis.

Karena pengingatan berbeda menurut posisi, di mana Anda menempatkan konten merupakan keputusan desain. Letakkan instruksi tugas dan bahan paling penting di batas-batas yang paling baik diingat model, serta hindari mengubur fakta yang wajib digunakan di bagian tengah yang dalam.

Kelola posisi dengan sengaja, bukan berdasarkan kebetulan urutan penggabungan.

Jangan pernah berasumsi bahwa model menggunakan fakta yang terkubur. Ujilah. Sisipkan fakta penanda yang diketahui pada kedalaman yang diketahui dan minta model mengembalikannya; ukur pengingatan pada berbagai kedalaman untuk memahami karakteristik model Anda pada bentuk perintah Anda sebelum mengandalkannya dalam produksi.

Dalam sesi agen yang panjang, jangan biarkan konteks bertambah tanpa batas. Lakukan pemadatan secara berkala: rangkum giliran percakapan yang sudah usang menjadi objek keadaan yang padat dan buang riwayat mentahnya. Ini mempertahankan sinyal sekaligus menghemat anggaran dan mengurangi pengenceran.

Penumpukan adalah bawaan sekaligus jebakan; pemadatan adalah kedisiplinan.

Desain terkuat memadukan berbagai strategi: ambil kumpulan kandidat yang terarah, tempatkan dengan posisi yang disengaja, simpan awalan yang stabil dalam cache, dan padatkan percakapan. Konteks panjang hanyalah salah satu alat dalam perangkat pengelolaan anggaran, bukan pengganti rekayasa.

• Lakukan pengambilan untuk memperkecil.
• Atur posisi untuk menonjolkan.
• Simpan dalam cache untuk menghemat.
• Padatkan untuk mempertahankan.

Sebelum menggunakan seluruh jendela, tanyakan:

• Apakah tugas memerlukan penalaran global atau pencarian informasi kecil? Pencarian kecil -> lakukan pengambilan.
• Apakah bagian yang relevan kecil dan stabil? Ya -> lakukan pengambilan/simpan dalam cache.
• Apakah latensi/biaya prapengisian besar dapat diterima? Tidak -> perkecil.
• Apakah saya sudah memverifikasi pengingatan pada kedalaman yang saya andalkan? Jika belum, lakukan pengujian terlebih dahulu.

Kapasitas adalah izin, bukan rencana.

Anda harus menjawab satu pertanyaan faktual yang sangat spesifik, yang hanya terdapat pada kira-kira 3 halaman dari arsip statis berisi 40.000 halaman, dan Anda akan menjalankan kueri ini ribuan kali sehari.

Jendela yang sangat besar adalah anggaran yang tidak seragam, bukan kemampuan mengingat tanpa batas. Konteks efektif lebih kecil daripada kapasitas, latensi dan biaya meningkat seiring masukan, serta materi yang tidak relevan mengurangi akurasi. Gunakan konteks panjang untuk sintesis menyeluruh, pengambilan untuk informasi spesifik, dan pendekatan hibrida untuk sisanya—dengan menempatkan konten penting di zona dengan daya ingat kuat, menyimpan awalan yang stabil dalam tembolok, memadatkan sesi yang panjang, dan selalu menguji daya ingat sebelum mempercayai fakta yang tersembunyi di dalamnya.