0Pricing
AI Agents · Pelajaran

Penyimpanan Tembolok Perintah dan Hasil (Anthropic, Vertex)

Penyimpanan tembolok perintah Anthropic dan Vertex memangkas biaya input hingga 10 kali lipat untuk perintah sistem yang panjang dan berulang.

Penyimpanan Tembolok Perintah dan Hasil (Anthropic, Vertex) adalah pelajaran AI Agents gratis di CoddyKit. Ini adalah pelajaran 3 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar AI Agents, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus AI Agents mencakup 4 pelajaran total.

Mengapa Menggunakan Tembolok?

Banyak panggilan agen hampir identik: perintah sistem yang sama, contoh beberapa yang sama, dan masukan pengguna yang berbeda. Tanpa penembolokan, bagian statis diproses ulang pada setiap panggilan.

Penembolokan dapat mengurangi biaya token masukan hingga 10 kali lipat.

Dua Jenis Penembolokan

  1. Penembolokan perintah (di sisi server) — penyedia menyimpan status KV model untuk awalan yang berulang
  2. Penembolokan hasil (di sisi klien) — kode Anda menyimpan respons lengkap untuk masukan yang identik

Penembolokan Perintah Anthropic

Tandai bagian yang dapat ditembolok dengan cache_control:

response = client.messages.create(
    model='claude-sonnet-4-5',
    max_tokens=1024,
    system=[
        {'type': 'text', 'text': LONG_SYSTEM_PROMPT, 'cache_control': {'type': 'ephemeral'}}
    ],
    messages=[{'role': 'user', 'content': user_input}]
)
# 1st call: full price
# 2nd call within 5min: 10% of input cost

Rasio Kecocokan Tembolok

Periksa objek penggunaan dalam respons:

response.usage.cache_creation_input_tokens   # tokens cached this call
response.usage.cache_read_input_tokens       # tokens read from cache

Hal yang Perlu Ditembolok

  • Perintah sistem berisi lebih dari 1 ribu token
  • Definisi alat
  • Contoh beberapa
  • Konteks RAG yang digunakan bersama di antara query (jarang)

Tempat Menaruh Penanda Tembolok

Pengendalian tembolok harus berada pada blok statis LAST. Semua yang berada sebelum penanda akan ditembolok. Letakkan konten stabil di awal dan konten yang berubah-ubah di akhir.

Penembolokan Perintah OpenAI

OpenAI secara otomatis menembolok perintah yang berisi lebih dari 1024 token. Tidak ada penanda eksplisit:

# Just send the same prefix repeatedly. Cache discount applies automatically.
# Check response.usage.prompt_tokens_details.cached_tokens

Penembolokan Konteks Vertex AI

Google Vertex mengharuskan Anda membuat objek tembolok secara eksplisit:

from vertexai.generative_models import GenerativeModel, content_cache

cache = content_cache.CachedContent.create(
    model='gemini-1.5-pro',
    contents=[long_system_content],
    ttl=300
)
model = GenerativeModel.from_cached_content(cache)
response = model.generate_content(user_input)

Tembolok Hasil di Sisi Klien

Untuk query dengan kecocokan persis (masukan sama, keluaran yang diharapkan sama), gunakan tembolok nilai-kunci:

import hashlib

def cache_key(model, messages):
    return hashlib.sha256(f'{model}:{json.dumps(messages)}'.encode()).hexdigest()

def cached_call(model, messages):
    key = cache_key(model, messages)
    if cached := redis.get(key):
        return json.loads(cached)
    result = real_call(model, messages)
    redis.set(key, json.dumps(result), ex=3600)
    return result

Tembolok Semantik

Gunakan penyematan untuk menembolok query yang serupa (bukan identik):

qvec = embed(query)
matches = vector_db.query(qvec, k=1)
if matches and matches[0].score > 0.95:
    return matches[0].metadata['cached_response']

Invalidasi Tembolok

Tembolok yang kedaluwarsa menghasilkan jawaban yang salah. Strateginya:

  • TTL — singkat untuk data yang sensitif terhadap waktu
  • Invalidasi manual saat data diperbarui
  • Kunci per pengguna agar pembaruan hanya memengaruhi satu pengguna

Jangan Menembolok Respons yang Dipersonalisasi

"Berapa saldo saya?" tidak dapat ditembolok untuk digunakan lintas pengguna. Berhati-hatilah dengan tembolok bersama dalam sistem multi-penyewa.

Biaya Tembolok dibandingkan Biaya LLM

Biaya Redis dapat diabaikan dibandingkan biaya LLM. Lakukan penembolokan secara agresif — bahkan tingkat kecocokan 10% dapat menghemat uang yang nyata.

Penghematan di Dunia Nyata

Dengan perintah sistem bersama yang panjang dan penembolokan perintah, tim biasanya melihat biaya masukan turun 50–90% dalam produksi. Ini adalah salah satu optimasi dengan ROI tertinggi.

Pemicu Tembolok Anthropic

Bagaimana cara mengaktifkan penembolokan perintah dengan Anthropic?

Rangkuman

Gunakan penembolokan perintah di sisi server untuk awalan statis; tembolok KV di sisi klien untuk kecocokan persis; dan tembolok semantik untuk kecocokan samar. Selalu periksa rasio kecocokan dan penghematannya.

Pertanyaan yang Sering Diajukan

Apakah pelajaran “Penyimpanan Tembolok Perintah dan Hasil (Anthropic, Vertex)” gratis?

Ya — teks lengkap “Penyimpanan Tembolok Perintah dan Hasil (Anthropic, Vertex)” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus AI Agents, upgrade ke CoddyKit PRO. Kursus AI Agents mencakup 4 pelajaran total.

Apa yang akan aku pelajari di “Penyimpanan Tembolok Perintah dan Hasil (Anthropic, Vertex)”?

Penyimpanan tembolok perintah Anthropic dan Vertex memangkas biaya input hingga 10 kali lipat untuk perintah sistem yang panjang dan berulang. Kamu berlatih AI Agents dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.

Apakah aku perlu pengalaman untuk memulai AI Agents?

Tidak diperlukan pengalaman sebelumnya. AI Agents di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 3 dari 4.

Berapa lama pelajaran “Penyimpanan Tembolok Perintah dan Hasil (Anthropic, Vertex)” memakan waktu?

Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.

Bisakah aku menulis dan menjalankan kode dalam pelajaran AI Agents ini?

Ya. Setiap pelajaran AI Agents menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.

Semua pelajaran dalam kursus ini

  1. Anggaran Token per Langkah
  2. Perutean Model (Murah -> Mahal)
  3. Penyimpanan Tembolok Perintah dan Hasil (Anthropic, Vertex)
  4. Kuantisasi dan Dekode Spekulatif
← Kembali ke AI Agents