Aracılar için İzleme Neden Gereklidir

Tek bir kullanıcı iletisi 10 LLM çağrısını, 5 araç çağrısını ve 30 saniyelik gecikmeyi tetikleyebilir. Bir şeyler ters gittiğinde "aracı tuhaf bir yanıt verdi" ifadesi size hiçbir şey anlatmaz.

İzleme, gerçekte ne olduğunu görmenizi sağlar.

Tek bir kullanıcı isteği için:

• Her LLM çağrısı: model, gelen iletiler, giden yanıt, belirteçler ve gecikme
• Her araç çağrısı: ad, bağımsız değişkenler, sonuç ve hata
• Tüm adımların sırası ve zamanlaması
• Kullanıcıya gösterilen nihai yanıt

Düz günlükler (print ifadeleri), bir izin yapısını kaybeder — hangi LLM çağrısının hangi kullanıcı isteğine ait olduğunu veya adımların bir ağaçta nasıl bir araya geldiğini anlayamazsınız.

Yapılandırılmış izleme araçları bu sorunu çözer.

OpenTelemetry'den alınan kavramlar:

• İz — aracının çalışmasının tamamı (tek bir kullanıcı isteği)
• span — izin içindeki tek bir adım (LLM çağrısı, araç çağrısı veya getirme)
• span'lerin üst öğeleri vardır — böylece bir ağaç oluştururlar

• Ağaç yapısı, üst ve alt öğeler arasındaki ilişkileri gösterir
• Zamanlama şelalesi yavaş adımları ortaya çıkarır
• Belirteçler ve maliyet iz başına toplanır
• Yeniden oynatma: değişiklikleri sınamak için bir izi yeni bir istemle yeniden çalıştırın

İlk günden itibaren. Geliştirme sırasında izleme, yalnızca sohbet üzerinden hata ayıklarken fark etmeyeceğiniz hataları ortaya çıkarır. Bunu bir üretim olayı sonrasında eklemek için artık çok geçtir.

İzler kullanıcı verileri içerir. Onlara günlükler gibi davranın:

• Dışa aktarmadan önce PII'yi maskeleyin
• Depolama sırasında şifreleyin
• Saklama politikalarına uyun

İzleme = "bu tek çalıştırmada ne oldu". Değerlendirmeler = "aracı bir değerlendirme kümesinde ne kadar iyi çalışıyor". İkisine de ihtiyacınız vardır, ancak önce izleme gelir — inceleyemediğiniz bir şeyi değerlendiremezsiniz.

İzleme, gecikmeye %1-2 oranında ek yük getirir ve depolama ihtiyacını artırır. Çok konuşkan aracılar için her şeyi kaydetmek yerine örnekleme yapın (örneğin izlerin %10'unu eksiksiz, hataların %100'ünü kaydedin).

Bazı çerçeveler (LangChain, LlamaIndex) otomatik olarak araçlandırma yapar — izleri ücretsiz elde edersiniz. Özel kod için LLM ve araç çağrılarınızı span yardımcılarıyla sarmalayın.

Aracı başarısız olduğunda kullanıcıya bir iz kimliği döndürün:

"Bir şeyler ters gitti. Başvuru kimliği: trace-9c4a... Bunu destek ekibine gösterin."

Destek ekibi izi açarak tam olarak ne olduğunu görebilir.

Yapılandırılmış izleme, aracılar için düz yazdırma günlük kaydından neden daha iyidir?

İzleme vazgeçilmezdir. İlk günden itibaren sisteme dâhil edin. Sonraki derslerde nelerin günlüğe kaydedileceği ve hangi araçların kullanılacağı ele alınacaktır.