Menyimpan Cache dan Membatasi Laju Upstream
Lindungi backend dari pemanggilan model yang tidak terkendali.
Menyimpan Cache dan Membatasi Laju Upstream adalah pelajaran MCP Academy gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar MCP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus MCP Academy mencakup 4 pelajaran total.
Model Dapat Membebani Backend
Model yang terlalu bersemangat dapat memanggil alat berulang kali. Tanpa pengaman, model tersebut dapat membebani basis data atau API di belakangnya. ⚠️
Simpan Hasil Pembacaan Berulang
Sebuah tembolok menyimpan hasil terbaru sehingga permintaan yang sama dapat langsung mengembalikan hasil, alih-alih menghubungi sumber upstream untuk kedua kalinya.
Gunakan Input sebagai Kunci Tembolok
Buat kunci tembolok dari argumen alat, sehingga kota atau id yang sama dapat menggunakan kembali jawaban tersimpan, sedangkan permintaan baru mengambil data terbaru.
key = ("weather", city)
if key in cache:
return cache[key]Berikan TTL pada Entri
Tetapkan TTL agar data dalam tembolok kedaluwarsa. Jawaban lama akan diperbarui, sehingga hasil tetap cepat dan cukup terkini.
Tembolokkan Hanya Pembacaan yang Aman
Tembolokkan pembacaan idempoten, jangan pernah tindakan yang memiliki efek samping. Anda tentu tidak ingin penulisan yang disimpan dalam tembolok diam-diam melewati perubahan nyata.
Batasi Laju Pemanggilan
Sebuah batas laju membatasi seberapa sering alat boleh dijalankan, sehingga model yang tidak terkendali tidak dapat mengirim ribuan permintaan sekaligus.
Gagasan Ember Token
Skema yang umum adalah ember token: setiap pemanggilan menghabiskan satu token, token terisi kembali seiring waktu, dan ember kosong berarti harus menunggu.
Patuhi Batas Upstream
Sesuaikan batas Anda dengan kuota API. Tetap berada di bawah kuota tersebut akan menghindari respons 429 dan mencegah akses Anda dibatasi.
Kurangi Laju saat 429
Jika upstream membalas 429 Too Many Requests, berhenti sejenak dan coba lagi nanti dengan jeda bertahap, bukan malah terus membebaninya.
Batasi Konkurensi
Sebuah Semaphore membatasi jumlah pemanggilan yang mengakses backend secara bersamaan, sehingga lonjakan menjadi lebih halus dan upstream tidak pernah kewalahan.
sem = asyncio.Semaphore(5)
async with sem:
...Kembalikan Pesan Batas yang Jelas
Saat Anda membatasi laju, beri tahu model secara jelas bahwa model sedang dibatasi lajunya, sehingga model dapat menunggu atau mencoba pendekatan lain.
Pemeriksaan Singkat
Hasil seperti apa yang aman untuk disimpan dalam tembolok?
Ringkasan: Tembolok & Pembatasan
Anda melindungi upstream dengan tembolok, batas laju, dan pengurangan laju bertahap, sehingga backend aman dari pemanggilan model yang tidak terkendali. 🎯
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Menyimpan Cache dan Membatasi Laju Upstream” gratis?
Ya — teks lengkap “Menyimpan Cache dan Membatasi Laju Upstream” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus MCP Academy, upgrade ke CoddyKit PRO. Kursus MCP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Menyimpan Cache dan Membatasi Laju Upstream”?
Lindungi backend dari pemanggilan model yang tidak terkendali. Kamu berlatih MCP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai MCP Academy?
Tidak diperlukan pengalaman sebelumnya. MCP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.
Berapa lama pelajaran “Menyimpan Cache dan Membatasi Laju Upstream” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran MCP Academy ini?
Ya. Setiap pelajaran MCP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Menyediakan Kueri SQL dengan Aman
- Membungkus API REST sebagai Alat
- Mengumpulkan Koneksi dalam Lifespan
- Menyimpan Cache dan Membatasi Laju Upstream