Menyimpan Awalan Panjang dalam Tembolok

Setiap perintah panjang harus membayar biaya pengisian awal untuk menyandikan tokennya sebelum menghasilkan keluaran. Ketika awalan panjang yang sama berulang dalam banyak panggilan—perintah sistem, spesifikasi alat, atau dokumen rujukan besar—penembolokan perintah memungkinkan penyedia menggunakan kembali keadaan perhatian yang telah dihitung, alih-alih menghitungnya kembali.

• Penggunaan tembolok yang berhasil memangkas latensi dan biaya masukan secara drastis.
• Penghematan meningkat seiring ukuran awalan dan frekuensi penggunaannya kembali.

Tembolok menggunakan kecocokan awalan token yang persis dari awal perintah sebagai kuncinya. Rentang yang disimpan dalam tembolok berjalan dari awal hingga titik perbedaan pertama. Ubah apa pun di bagian awal, maka semua bagian setelahnya tidak lagi cocok dengan tembolok.

Implikasinya: tata letak yang memaksimalkan kecocokan menempatkan konten paling stabil di awal dan konten paling berubah-ubah di akhir.

Susun konten dari yang paling stabil hingga yang paling tidak stabil: aturan sistem dan definisi alat yang tidak berubah, lalu materi rujukan besar yang stabil, kemudian konteks yang stabil sepanjang sesi, dan terakhir masukan serta pertanyaan yang berubah-ubah untuk setiap permintaan.

• Stabil -> depan (dapat disimpan dalam tembolok).
• Berubah-ubah -> belakang (satu-satunya bagian yang dihitung ulang).

Prinsip pengurutan tunggal ini mendorong sebagian besar keuntungan penembolokan.

Beberapa penyedia memungkinkan Anda menandai titik pemisah tembolok secara eksplisit. Letakkan titik tersebut di akhir setiap segmen yang stabil agar sistem dapat menyimpan hingga titik itu. Tandai blok stabil terbesar (korpus rujukan atau perintah sistem yang panjang) agar dapat disimpan dalam tembolok.

Tanpa penanda eksplisit, tetap susun struktur berdasarkan urutan stabilitas agar pencocokan awalan implisit tetap membantu.

Perubahan kecil yang tidak disengaja dapat diam-diam merusak penembolokan: cap waktu dalam perintah sistem, id per permintaan yang disisipkan di bagian awal, definisi alat yang diurutkan ulang, atau urutan kunci JSON yang tidak deterministik. Masing-masing menggeser awalan dan memaksa penghitungan ulang secara penuh.

Periksa awalan Anda untuk menemukan apa pun yang berubah di antara panggilan, lalu pindahkan ke setelah wilayah yang disimpan dalam tembolok.

Cache kedaluwarsa setelah masa berlaku yang ditentukan penyedia, dan sering diperbarui setiap kali terjadi hit. Miss dingin akan berulang jika pemanggilan terlalu jarang. Untuk beban kerja yang terjadi secara berkelompok dan berfrekuensi tinggi, caching menguntungkan; untuk pemanggilan yang jarang dan tersebar, cache mungkin kedaluwarsa di antara penggunaan.

Sesuaikan pola lalu lintas Anda dengan TTL, dan pertimbangkan ping keep-alive untuk prefiks yang bernilai penting.

Caching biasanya mengenakan biaya tambahan kecil untuk menulis entri cache dan potongan biaya besar untuk membacanya. Secara ekonomi, penggunaan ulang lebih menguntungkan: satu penulisan yang dibagi ke banyak pembacaan menghasilkan penghematan bersih yang besar; satu kali penggunaan yang hanya melakukan penulisan bisa sedikit lebih mahal.

• Penggunaan ulang tinggi -> gunakan cache secara agresif.
• Prefiks sekali pakai -> caching mungkin tidak menguntungkan.

Buat perintah sistem dan spesifikasi alat Anda deterministik serta terikat pada versi tertentu. Urutkan definisi alat secara kanonis, hindari menyematkan data dinamis, dan ubah hanya dalam rilis yang disengaja. Blok sistem yang stabil menjadi entri cache berumur panjang dengan hit tinggi, yang digunakan bersama oleh semua permintaan.

Perlakukan prefiks yang di-cache sebagai artefak dengan versi, bukan sebagai string yang diubah sembarangan.

Dalam loop agen, percakapan yang terus bertambah menjadi cache alami: setiap giliran memperpanjang prefiks yang akan digunakan ulang oleh giliran berikutnya. Tambahkan giliran baru di bagian akhir dan jangan pernah menulis ulang giliran sebelumnya, agar cache terdahulu tetap valid.

Saat Anda harus memadatkan percakapan, lakukan dengan cara yang menghasilkan prefiks stabil baru untuk giliran-giliran berikutnya, alih-alih berulang kali mengubah prefiks lama.

Pasang instrumentasi. Sebagian besar penyedia melaporkan token input yang di-cache dan yang tidak di-cache untuk setiap pemanggilan. Lacak rasio hit, dan jika rendah, periksa prefiks untuk mencari perubahan yang tidak diinginkan. Penurunan rasio hit biasanya menunjukkan adanya nilai dinamis yang baru dimasukkan di bagian awal perintah.

• Catat token_tercache / total_token_input.
• Buat peringatan saat rasio hit turun setelah penerapan.

Untuk mengendalikan biaya pada prefiks panjang: urutkan konten berdasarkan kestabilannya, tandai blok stabil terbesar sebagai titik pemisah cache, hilangkan perubahan tersembunyi, tetapkan dan versikan blok sistem/alat, gunakan penambahan saja dalam loop agen, dan pantau rasio hit. Tujuannya adalah satu prefiks besar yang dapat digunakan ulang serta ekor kecil yang mudah berubah dan dihitung ulang pada setiap pemanggilan.

Anda menggunakan ulang korpus referensi 100 ribu token dalam ribuan kueri harian, tetapi rasio hit cache Anda hampir nol.

Caching perintah menggunakan ulang proses prapengisian dari prefiks yang persis sama dan stabil, sehingga sangat mengurangi latensi dan biaya input ketika frekuensi penggunaan ulang tinggi. Urutkan konten dengan yang paling stabil di awal, tandai blok stabil yang besar sebagai titik pemisah, dan dorong semua perubahan ke bagian akhir. Hilangkan perubahan tersembunyi, tetapkan dan versikan blok sistem/alat, gunakan penambahan saja dalam loop agen, dan pantau rasio hit agar penurunan menunjukkan nilai baru yang berubah di bagian awal.