İstemleri Sürümleyip Çıktıları Değerlendirin

Yeniden ifade edilmiş bir bilgi istemi, davranışı bir gecede değiştirebilir. Bu nedenle her bilgi istemini geçmişi, incelemesi ve geri alma olanağı bulunan sürümlenmiş bir ürün olarak ele alırsınız. 📝

Koda dağılmış sabit dizgeleri izlemek olanaksızdır. Her değişiklik görünür ve farkları karşılaştırılabilir olsun diye bilgi istemlerini bir kayıt defterinde veya dosyalarda tutunuz.

Her bilgi istemine kodda sabitleyebileceğiniz açık bir sürüm kimliği veriniz. Böylece belirli bir çıktıyı tam olarak hangi ifadelerin ürettiğini her zaman bilirsiniz.

İstediğiniz yanıtlarla birlikte gerçek girdileri toplayınız. Bu değerlendirme kümesi, bir bilgi istemindeki değişikliğin gerçekten işe yarayıp yaramadığını ölçtüğünüz kıstastır.

Yanıtı bilinen görevlerde çıktıyı beklenen metinle karşılaştırınız. Tam eşleşme veya F1 gibi basit bir metrik, hızlı bir başarılı-başarısız sinyali sağlar.

Açık uçlu metinlerde başka bir modelden yanıtı bir değerlendirme ölçütüne göre puanlamasını isteyiniz. Bu LLM'yi yargıç olarak kullanma yaklaşımı, puanlamayı elle yazılmış kuralların ötesine taşır.

Yargıçlar taraflı veya tutarsız olabilir. Aynı durumlar için birkaç insan değerlendirmesiyle puanları örnek olarak denetleyerek onları güvenilir tutarsınız.

Yeni bir bilgi istemini kullanıma almadan önce tüm değerlendirme kümesinde çalıştırınız. Yalnızca puan korunuyor veya iyileşiyorsa kullanıma alınız; asla tahmine dayanmayınız.

Bir durumu düzelten bilgi istemi başka bir durumu bozabilir. Durum başına sonuçları karşılaştırmak, bu gerilemeleri kullanıcılar görmeden yakalar.

promptfoo veya OpenAI Evals gibi araçlar veri kümelerini çalıştırır, modelleri çağırır ve puanları sizin için raporlar. Bir çerçeve, gelişigüzel testleri tekrarlanabilir bir test paketine dönüştürür.

Bir sürüm değerlendirmelerinizde kazandıktan sonra onu üretimde sabitleyip geri kalanları arşivleyiniz. Artık bilgi isteminden sonuca uzanan açık ve denetlenebilir bir iziniz var.

Bilgi istemlerini sürümlemeyi, bir değerlendirme kümesi oluşturmayı, metriklerle veya bir LLM yargıcıyla puanlamayı ve sürümleri sonuçlara göre onaylamayı öğrendiniz. Artık tahmin yürütmeye son! 🎉