Meringkas Hasil yang Menghabiskan Banyak Token

Apa pun yang dikembalikan tool Anda menjadi bagian dari konteks model, dan setiap karakter menghabiskan token. Keluaran yang berlebihan benar-benar menimbulkan biaya. 💸

Gumpalan data yang sangat besar dapat memenuhi jendela konteks model yang terbatas, mendorong pesan sebelumnya keluar dan menyisakan lebih sedikit ruang untuk benar-benar melakukan penalaran.

Kirim kembali hanya bidang yang dibutuhkan tugas. Hasil yang terfokus jauh lebih membantu model daripada menumpahkan seluruh rekaman mentah.

Hapus id internal, stempel waktu, dan metadata yang tidak akan pernah digunakan model. Pilih hanya kunci yang relevan sebelum mengembalikannya.

Untuk hasil yang panjang, kembalikan satu halaman dengan kursor, bukan ribuan baris. Model dapat meminta lebih banyak hanya jika memang membutuhkannya.

Tetapkan batas tegas pada panjang hasil dan potong bagian yang melewatinya, agar satu kueri yang tidak terkendali tidak membanjiri model dengan teks berukuran megabita.

Terkadang ringkasan singkat lebih berguna daripada data mentah, terutama untuk log atau dokumen ketika model hanya membutuhkan intinya, bukan setiap baris.

JSON yang dicetak rapi dan bertingkat dalam membuang-buang token. Struktur yang datar dan ringkas memuat fakta yang sama dengan jauh lebih sedikit karakter.

Untuk konten yang benar-benar besar, kembalikan tautan resource yang dapat dibaca model sesuai kebutuhan, alih-alih menyertakan seluruh muatan data pada setiap pemanggilan.

Pelacakan tumpukan yang panjang dengan cepat menghabiskan token. Kembalikan pesan error yang singkat dan jelas, lalu simpan pelacakan lengkapnya di log sisi server.

Hasil yang singkat menghemat anggaran dan mempertajam penalaran. Balasan yang terarah memberi model tepat apa yang dibutuhkannya tanpa tambahan yang tidak perlu.

Anda hanya mengembalikan bidang yang diperlukan, menggunakan penomoran halaman, membatasi ukuran, membuat ringkasan, dan memindahkan data besar, sehingga hasil tetap efisien dalam penggunaan token. 🎯