Sebab Konteks Panjang Tidak Berkembang dengan Baik
Kos meningkat secara linear, kualiti merosot dan fenomena 'hilang di tengah' menyebabkan model melupakan kandungan yang tertanam dalam gesaan panjang.
Sebab Konteks Panjang Tidak Berkembang dengan Baik ialah pelajaran Ejen AI percuma di CoddyKit. Ini ialah pelajaran 2 daripada 4. Anda boleh membaca keseluruhan pelajaran di bawah secara percuma — kemudian berlatih secara praktikal dalam pelayar menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Ejen AI, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Ejen AI merangkumi sejumlah 4 pelajaran.
Lebih Besar Tidak Semestinya Lebih Baik
Model moden mempunyai tetingkap konteks yang sangat besar — 200k, 1M, malah 2M token. Anda mungkin tergoda untuk "memasukkan segala-galanya begitu sahaja" dan bukannya membina memori sebenar.
Pendekatan itu gagal dalam penggunaan sebenar atas tiga sebab.
Sebab 1: Kos
Setiap token dalam setiap panggilan memerlukan bayaran. Gesaan sistem sebanyak 100k token dengan 1000 giliran = 100M token masukan, berjumlah puluhan dolar bagi setiap sesi.
Penyimpanan gesaan dalam cache membantu, tetapi tidak menghapuskan kos tersebut.
Sebab 2: Kependaman
Memproses 100k token masukan menambah 1-3 saat kepada masa hingga token pertama. Untuk pengalaman pengguna sembang, anda mahu TTFT di bawah 500ms.
Sebab 3: Kualiti Merosot
Model kurang memberikan perhatian kepada kandungan di tengah-tengah gesaan yang panjang — kesan "hilang di tengah" yang didokumentasikan oleh Liu et al. 2023.
Maklumat di awal atau akhir diingat semula dengan tepat; maklumat di tengah sering terlepas.
Ujian Konkrit
Sisipkan fakta unik pada kedudukan yang berbeza dalam dokumen panjang dan minta model mendapatkannya semula. Ketepatan:
- Awal dokumen: 95%
- Akhir dokumen: 90%
- Tengah: 50-70%
Konteks Panjang untuk Penilaian, Bukan Penggunaan Sebenar
Konteks panjang berguna untuk tugas sekali jalan (menganalisis keseluruhan pangkalan kod ini), tetapi tidak sesuai untuk ejen yang berjalan secara berterusan dalam penggunaan sebenar.
Untuk penggunaan sebenar, gunakan pengambilan semula bagi memasukkan hanya 5% yang berkaitan pada setiap giliran.
Apabila Konteks Panjang Membantu
- Analisis awal pangkalan kod
- Soal jawab seluruh dokumen dalam satu panggilan
- Perbandingan dua dokumen panjang
Tugas sekali jalan tanpa ulangan semula.
Apabila Konteks Panjang Menjejaskan
- Chatbot dengan ratusan giliran
- Ejen berbilang penyewa yang dikongsi oleh pengguna
- Mana-mana keadaan yang melibatkan kos atau kependaman
Seni Bina yang Betul
Untuk ejen yang berjalan dalam jangka masa panjang:
- Giliran terkini dalam gesaan (10-20 yang terakhir)
- Giliran lama diringkaskan menjadi ringkasan berterusan
- Fakta ditukarkan kepada vektor dan disimpan dalam memori jangka panjang
- Dapatkan semula memori paling berkaitan mengikut kedudukan K bagi setiap giliran
Pendekatan Hibrid
Gabungkan teknik:
messages = [
{'role': 'system', 'content': PERSONA},
{'role': 'system', 'content': f'Conversation summary so far: {summary}'},
{'role': 'system', 'content': f'Relevant past facts: {retrieved_facts}'},
*last_n_turns,
]Pencetus Pemadatan
Tentukan WHEN untuk memadatkan:
- Setiap N giliran (mudah)
- Apabila bilangan token melebihi ambang (lebih baik)
- Apabila model mula terlupa (terbaik, tetapi sukar dikesan)
Hilang di Tengah
Apakah kesan "hilang di tengah"?
Ringkasan
Jangan selesaikan masalah memori dengan memaksimumkan konteks. Gunakan ringkasan + pengambilan semula untuk mengetengahkan perkara yang penting pada setiap giliran.
Pelajari Ejen AI dengan tutor kecerdasan buatan — percuma
Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.
- Kursus
- 60
- Pelajaran
- 239
Soalan Lazim
Adakah pelajaran “Sebab Konteks Panjang Tidak Berkembang dengan Baik” percuma?
Ya — teks penuh “Sebab Konteks Panjang Tidak Berkembang dengan Baik” boleh dibaca secara percuma di web ini. Untuk berlatih secara interaktif menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7, serta membuka kunci baki kursus Ejen AI, tingkat taraf kepada CoddyKit PRO. Kursus Ejen AI merangkumi sejumlah 4 pelajaran.
Apakah yang akan saya pelajari dalam “Sebab Konteks Panjang Tidak Berkembang dengan Baik”?
Kos meningkat secara linear, kualiti merosot dan fenomena 'hilang di tengah' menyebabkan model melupakan kandungan yang tertanam dalam gesaan panjang. Anda berlatih Ejen AI menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.
Adakah saya memerlukan pengalaman untuk memulakan Ejen AI?
Tiada pengalaman terdahulu diperlukan. Pembelajaran Ejen AI di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 2 daripada 4.
Berapa lamakah pelajaran “Sebab Konteks Panjang Tidak Berkembang dengan Baik” diambil?
Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.
Bolehkah saya menulis dan menjalankan kod dalam pelajaran Ejen AI ini?
Ya. Setiap pelajaran Ejen AI menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.
Semua pelajaran dalam kursus ini
- Memori Jangka Pendek dalam Tetingkap Konteks
- Sebab Konteks Panjang Tidak Berkembang dengan Baik
- Peringkasan sebagai Pemampatan
- Storan Memori Mudah (Nilai Kunci)