0Pricing
AI Agents · Ders

İstemleri ve Sonuçları Önbelleğe Alma (Anthropic, Vertex)

Anthropic istem önbelleğe alma ve Vertex önbelleğe alma özellikleri, uzun ve tekrarlanan sistem istemlerinde girdi maliyetini 10 kat azaltır.

İstemleri ve Sonuçları Önbelleğe Alma (Anthropic, Vertex), CoddyKit'te ücretsiz bir AI Agents dersidir. Bu, 4 dersinin 3. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, AI Agents öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. AI Agents kursu toplamda 4 dersten oluşur.

Neden Önbellek Kullanılır?

Birçok agent çağrısı neredeyse aynıdır: aynı sistem istemi, aynı birkaç örnek ve farklı kullanıcı girdisi. Önbelleğe alma olmadan her çağrıda sabit bölümleri yeniden işlersiniz.

Önbelleğe alma, girdi belirteci maliyetini 10 kata kadar azaltabilir.

İki Tür Önbelleğe Alma

  1. İstem önbelleğe alma (sunucu tarafı) — sağlayıcı, tekrarlanan ön ekler için modelin KV durumunu önbelleğe alır
  2. Sonuç önbelleğe alma (istemci tarafı) — kodunuz, aynı girdiler için tüm yanıtları önbelleğe alır

Anthropic İstem Önbelleğe Alma

Önbelleğe alınabilir bölümleri cache_control ile işaretleyin:

response = client.messages.create(
    model='claude-sonnet-4-5',
    max_tokens=1024,
    system=[
        {'type': 'text', 'text': LONG_SYSTEM_PROMPT, 'cache_control': {'type': 'ephemeral'}}
    ],
    messages=[{'role': 'user', 'content': user_input}]
)
# 1st call: full price
# 2nd call within 5min: 10% of input cost

Önbellek İsabet Oranı

Yanıtın kullanım nesnesini kontrol edin:

response.usage.cache_creation_input_tokens   # tokens cached this call
response.usage.cache_read_input_tokens       # tokens read from cache

Neler Önbelleğe Alınmalı

  • 1.000 belirteçten uzun sistem istemleri
  • Araç tanımları
  • Birkaç örnekli örnekler
  • Sorgular arasında paylaşılan RAG bağlamı (nadiren)

Önbellek İşaretçileri Nereye Yerleştirilmeli

Önbellek denetimi, LAST sabit bloğun üzerinde olmalıdır. İşaretçiden önceki her şey önbelleğe alınır. Sabit içeriği başlangıca, değişken içeriği sona yerleştirin.

OpenAI İstem Önbelleğe Alma

OpenAI, 1.024 belirteçten uzun istemleri otomatik olarak önbelleğe alır. Açık bir işaretçi gerekmez:

# Just send the same prefix repeatedly. Cache discount applies automatically.
# Check response.usage.prompt_tokens_details.cached_tokens

Vertex AI Bağlam Önbelleğe Alma

Google Vertex, açıkça bir önbellek nesnesi oluşturmanızı gerektirir:

from vertexai.generative_models import GenerativeModel, content_cache

cache = content_cache.CachedContent.create(
    model='gemini-1.5-pro',
    contents=[long_system_content],
    ttl=300
)
model = GenerativeModel.from_cached_content(cache)
response = model.generate_content(user_input)

İstemci Tarafı Sonuç Önbelleği

Tam eşleşen sorgular için (aynı girdi ve beklenen aynı çıktı) anahtar-değer önbelleği kullanın:

import hashlib

def cache_key(model, messages):
    return hashlib.sha256(f'{model}:{json.dumps(messages)}'.encode()).hexdigest()

def cached_call(model, messages):
    key = cache_key(model, messages)
    if cached := redis.get(key):
        return json.loads(cached)
    result = real_call(model, messages)
    redis.set(key, json.dumps(result), ex=3600)
    return result

Anlamsal Önbellek

Benzer (özdeş olmayan) sorguları önbelleğe almak için gömmeleri kullanın:

qvec = embed(query)
matches = vector_db.query(qvec, k=1)
if matches and matches[0].score > 0.95:
    return matches[0].metadata['cached_response']

Önbellek Geçersizleştirme

Güncelliğini yitirmiş önbellekler yanlış yanıtlar döndürür. Stratejiler:

  • TTL — zamana duyarlı veriler için kısa
  • Veri güncellemelerinde elle geçersizleştirme
  • Güncellemelerin yalnızca tek bir kullanıcıyı etkilemesi için kullanıcı başına anahtarlar

Kişiselleştirilmiş Yanıtları Önbelleğe Almayın

"Bakiyem nedir?" sorusunun yanıtı kullanıcılar arasında önbelleğe alınamaz. Çok kiracılı sistemlerde paylaşılan önbellekleri kullanırken dikkatli olun.

Önbellek Maliyeti ile LLM Maliyeti

Redis maliyetleri, LLM maliyetlerine kıyasla önemsizdir. Önbelleği agresif biçimde kullanın — %10'luk isabet oranı bile gerçek bir tasarruf sağlar.

Gerçek Dünya Tasarrufu

Uzun ve paylaşılan sistem istemleriyle istem önbelleğe alma kullanıldığında ekipler, üretimde girdi maliyetinin rutin olarak %50-90 azaldığını görür. Bu, ROI'si en yüksek optimizasyonlardan biridir.

Anthropic Önbellek Tetikleyicisi

Anthropic ile istem önbelleğe almayı nasıl etkinleştirirsiniz?

Özet

Sabit ön ekler için sunucu tarafı istem önbelleğe alma; tam eşleşme için istemci tarafı KV önbelleği; yaklaşık eşleşme için anlamsal önbellek kullanın. İsabet oranlarını ve tasarrufları her zaman kontrol edin.

Sıkça Sorulan Sorular

“İstemleri ve Sonuçları Önbelleğe Alma (Anthropic, Vertex)” dersi ücretsiz mi?

Evet — “İstemleri ve Sonuçları Önbelleğe Alma (Anthropic, Vertex)” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve AI Agents kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. AI Agents kursu toplamda 4 dersten oluşur.

“İstemleri ve Sonuçları Önbelleğe Alma (Anthropic, Vertex)” dersinde ne öğreneceğim?

Anthropic istem önbelleğe alma ve Vertex önbelleğe alma özellikleri, uzun ve tekrarlanan sistem istemlerinde girdi maliyetini 10 kat azaltır. AI Agents ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.

AI Agents öğrenmeye başlamak için deneyim gerekli mi?

Önceden deneyim gerekmez. CoddyKit'te AI Agents, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 3. dersidir.

“İstemleri ve Sonuçları Önbelleğe Alma (Anthropic, Vertex)” dersi ne kadar sürer?

Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.

Bu AI Agents dersinde kod yazıp çalıştırabilir miyim?

Evet. Her AI Agents dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.

Bu kursun tüm dersleri

  1. Adım Başına Belirteç Bütçeleri
  2. Model Yönlendirme (Ucuz → Pahalı)
  3. İstemleri ve Sonuçları Önbelleğe Alma (Anthropic, Vertex)
  4. Nicemleme ve Varsayımsal Kod Çözme
← AI Agents Sayfasına Dön