AI Agents · Ders

Uzun Bağlamlar Neden Ölçeklenmez

Maliyet doğrusal olarak artar, kalite düşer ve 'ortada kaybolma' etkisi modelin uzun istemlerin içine gömülmüş içeriği unutmasına neden olur.

Uzun Bağlamlar Neden Ölçeklenmez, CoddyKit'te ücretsiz bir AI Agents dersidir. Bu, 4 dersinin 2. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, AI Agents öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. AI Agents kursu toplamda 4 dersten oluşur.

Daha Büyük Her Zaman Daha İyi Değildir

Modern modellerin çok büyük bağlam pencereleri vardır — 200 bin, 1 milyon, hatta 2 milyon belirteç. Gerçek bir bellek oluşturmak yerine "her şeyi olduğu gibi içeri doldurmak" cazip gelebilir.

Bu yaklaşım üretimde üç nedenle başarısız olur.

1. Neden: Maliyet

Her çağrıdaki her belirteç paraya mal olur. 100 bin belirteçlik bir sistem istemi ve 1000 tur, oturum başına toplam 100 milyon giriş belirteci anlamına gelir ve onlarca dolara ulaşır.

İstem önbelleğe alma yardımcı olur, ancak maliyeti ortadan kaldırmaz.

2. Neden: Gecikme

100 bin giriş belirtecini işlemek, ilk belirtece kadar geçen süreye 1-3 saniye ekler. Sohbet deneyimi için TTFT değerinin 500 ms'nin altında olmasını istersiniz.

3. Neden: Kalite Düşer

Modeller, uzun istemlerin ortasındaki içeriğe daha az dikkat eder; bu, Liu ve diğerlerinin 2023'te belgelediği "ortada kaybolma" etkisidir.

Başlangıçtaki veya sondaki bilgiler doğru biçimde hatırlanır; ortadaki bilgiler ise çoğu zaman gözden kaçar.

Somut Bir Deneme

Uzun bir belgenin farklı konumlarına benzersiz bir olgu yerleştirip modelden bunu geri getirmesini isteyin. Doğruluk:

Belgenin başlangıcı: %95
Belgenin sonu: %90
Orta bölüm: %50-70

Üretim İçin Değil, Değerlendirme İçin Uzun Bağlam

Uzun bağlamlar tek seferlik görevler için yararlıdır (bu kod tabanının tamamını analiz edin), ancak sürekli çalışan üretim aracıları için uygun değildir.

Üretimde, her turda yalnızca ilgili %5'lik bölümü eklemek için geri getirme kullanın.

Uzun Bağlamlar Ne Zaman Yardımcı Olur

İlk kod tabanı analizi
Tek bir çağrıda tüm belgeyle soru-cevap
İki uzun belgenin karşılaştırılması

Tekrar yürütme gerektirmeyen tek seferlik görevler.

Uzun Bağlamlar Ne Zaman Zararlıdır

Yüzlerce turluk sohbet botları
Kullanıcılar arasında paylaşılan çok kiracılı aracılar
Maliyetin veya gecikmenin önemli olduğu her yer

Doğru Mimari

Uzun süre çalışan aracılar için:

İstemde son turlar (son 10-20 tur)
Eski turlar, sürekli güncellenen bir özette özetlenir
Olgular, uzun süreli bellekte vektörleştirilir
Her turda en ilgili K belleği geri getirilir

Hibrit Yaklaşım

Teknikleri birleştirin:

messages = [
    {'role': 'system', 'content': PERSONA},
    {'role': 'system', 'content': f'Conversation summary so far: {summary}'},
    {'role': 'system', 'content': f'Relevant past facts: {retrieved_facts}'},
    *last_n_turns,
]

Sıkıştırma Tetikleyicileri

Ne zaman WHEN compact yapılacağına karar verin:

Her N turda bir (basit)
Belirteç sayısı eşik değerini aştığında (daha iyi)
Model unutmaya başladığında (en iyisi, ancak tespit etmesi zor)

Ortada Kaybolma

"Ortada kaybolma" etkisi nedir?

Özet

Bellek sorununu bağlamı sonuna kadar doldurarak çözmeye çalışmayın. Her turda önemli olanı öne çıkarmak için özetleri ve geri getirmeyi kullanın.

Sıkça Sorulan Sorular

“Uzun Bağlamlar Neden Ölçeklenmez” dersi ücretsiz mi?

Evet — “Uzun Bağlamlar Neden Ölçeklenmez” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve AI Agents kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. AI Agents kursu toplamda 4 dersten oluşur.

“Uzun Bağlamlar Neden Ölçeklenmez” dersinde ne öğreneceğim?

Maliyet doğrusal olarak artar, kalite düşer ve 'ortada kaybolma' etkisi modelin uzun istemlerin içine gömülmüş içeriği unutmasına neden olur. AI Agents ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.

AI Agents öğrenmeye başlamak için deneyim gerekli mi?

Önceden deneyim gerekmez. CoddyKit'te AI Agents, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 2. dersidir.

“Uzun Bağlamlar Neden Ölçeklenmez” dersi ne kadar sürer?

Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.

Bu AI Agents dersinde kod yazıp çalıştırabilir miyim?

Evet. Her AI Agents dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.

Bu kursun tüm dersleri

← AI Agents Sayfasına Dön