Açık Sorunlar: Sağlamlık, Uyum, Uzun Vadeli Bellek

Büyük ilerlemelere rağmen temel ajan sorunları hâlâ UNSOLVED durumdadır. Bunların farkında olmak, bugün gerçekçi olarak neyin geliştirilebileceğinin kapsamını belirlemenize yardımcı olur.

Ajanlar zamanın %99'unda çalışsa bile uç durumlarda hâlâ felaketle sonuçlanan hatalar yapabilir:

• İstem enjeksiyonu saldırıları çok sık başarılı oluyor
• Araçlar yeni ve beklenmedik şekillerde hata veriyor
• Uzun vadeli görevlerde küçük hatalar birikiyor
• Dağılım kayması, üretim ajanlarını her hafta çalışamaz hâle getiriyor

• Anayasal yapay zekâ (Anthropic)
• Öz tutarlılık ve doğrulama zincirleri
• Karşıt örneklerle eğitim
• Belirtim odaklı geliştirme

Ajanlar kullanıcılar adına hareket eder; ancak kullanıcı, ajan ve yapay zekâ şirketinin hedefleri farklı olabilir. Çatışma olduğunda kimin değerleri geçerli olmalıdır?

• Bir ajan yasal ama etik olmayan bir görevi reddetmeli mi?
• Kısa vadeli isteklere karşı uzun vadeli refah doğrultusunda hareket etmeli mi?
• Kullanıcının yanlış bilgilerini düzeltmeli mi?

• RLHF — insan tercihleriyle eğitme
• Anayasal yapay zekâ — modelin kendisini ilkelere göre eleştirmesi
• Münazara — iki ajan tartışır, insanlar hakemlik yapar
• Ölçeklenebilir gözetim — yapay zekânın insanların yapay zekâyı denetlemesine yardımcı olması

Ajanlara özgü bir durum söz konusudur: Uyumlu bir LLM bile kendisine araçlar verildiğinde uyumunu yitirebilir. Model yardım etmek "ister", ancak araç kullanımındaki kestirmeleri kullanıcı güvenliğini ikinci plana atar. Bu, tüm büyük laboratuvarlarda etkin bir araştırma alanıdır.

Saatlerce, günlerce veya aylarca çalışan ajanlar, neyin önemli olduğunu hatırlamakta hâlâ zorlanıyor:

• Vektör depoları TEXT geri çağırır, anlayışı değil
• Özetler ayrıntıları kaybettirir
• İşlemsel bellek genelleme yapamaz
• Çelişkiler arasındaki olguları "birleştirmenin" iyi bir yolu yoktur

• MemGPT / Letta — açık bellek katmanları
• Depolama için seyrek uzman karışımı
• Kendi kendini düzenleyen ağırlıklar (test zamanı eğitimi)
• Bölümselden anlamsala damıtma

Beş adım ileriyi planlayan ajanlar yaygındır; 50 adımlık planlar ise düzenli olarak raydan çıkar. Hiyerarşik ayrıştırma yardımcı olur, ancak sorunu çözmez.

• Planlar zamanla sapar
• Hatalar birikir
• Yeniden planlama pahalıdır

Son teknoloji ajanların karmaşık görev başına maliyeti 1-10 ABD dolarıdır. Çevresel tüketici kullanımı için fiyatın 10 ila 100 kat düşmesi gerekir. Eğilimler:

• Daha küçük modellere damıtma
• Donanım (Cerebras, Groq, Etched)
• Daha iyi yönlendirme ve önbelleğe alma

Çok ajanlı sistemlerde kendiliğinden ortaya çıkan eşgüdüm bozukluğu görülür; teşvikleri çatıştığında ajanlar rekabet edebilir, yalan söyleyebilir veya iş birliği yapabilir. Mekanizma tasarımı ve oyun teorisi ajan yığınına giriyor.

Günümüzün karşılaştırma ölçütleri gerçek üretim işlerini zar zor kapsıyor. Uzun kuyruklu, çok modlu ve günlere yayılan görevlerin kapsamı yetersiz. Daha iyi karşılaştırma ölçütleri geliştirmek açık bir araştırma çabasıdır.

• Ajanlar kişisel veri biriktiriyor; bu veriler nasıl korunuyor?
• Çok kiracılı ajanlar kullanıcılar arasında veri sızdırıyor
• Modeller hassas eğitim verilerini ezberleyebilir
• Ajanlar zararlı kararlar verdiğinde sorumluluğun kime ait olduğu hâlâ belirsiz

İlerleme yolu muhtemelen şunları içerir:

• Çıkarım sırasında daha iyi akıl yürütme
• Sembolik ve sinirsel yaklaşımların daha sıkı bütünleştirilmesi
• Sağlam çok ajanlı eşgüdüm protokolleri
• Düzenlemeye tabi alanlarda doğrulanabilir ve denetlenebilir ajanlar
• İnsanı döngüde tutan daha iyi temel yapı taşları

Günümüz ajanları birçok görev için son derece kullanışlıdır; ancak insan incelemesi olmadan yüksek riskli otonom kararlar vermeleri konusunda hiçbir zaman (NEVER) güvenilmemelidir. "Ajan yardımcı olur" ile "insan onaylar" arasındaki sınırı tasarımınıza dahil edin.

Ajanlar, web'den bu yana yazılımdaki en etkili paradigmadır. Bunları dikkatle geliştirin. Dürüstçe değerlendirin. Kullanıcıları koruyun. Güncel kalın.

Ajanlardaki bu sorunlardan hangisi hâlâ UNSOLVED durumundadır?