Öz Eleştiriyle Doğrulama

Öz eleştiri, bir LLM'nin başka bir LLM'nin çıktısını bir değerlendirme ölçütüne veya politikaya göre değerlendirmesini sağlar. Belirlenimci doğrulayıcıların ifade edemediği incelikli hataları yakalar: olgusal tutarsızlık, üslup, faydalılık ve ince politika ihlalleri.

Bu, şema ve kural doğrulayıcılarını tamamlayan modele dayalı bir yöntemdir.

Eleştiriyi, üretimin sonuna eklenmiş bir talimat olarak değil, kendi istemine sahip ayrı bir çağrı olarak çalıştırın. Yalnızca değerlendirme yapması istenen, temiz bağlamlı bir eleştirmen; üretimin ortasında kendisine not vermesi istenen ve bu nedenle kendi yanıtına taraflı yaklaşan yazardan çok daha güvenilirdir.

İşlem hattının program aracılığıyla harekete geçebilmesi için eleştirmenin yapılandırılmış kararlar üretmesini sağlayın. Serbest metin biçimindeki bir eleştiri makine tarafından işlenemez.

Eleştirmeni bir gözden geçiriciyle eşleştirin. Eleştirmen sorunları bulur; yazar eleştiriyi kullanarak gözden geçirir; geçer duruma gelene veya bütçe tükenene kadar tekrarlanır. Bu, onarım döngüsünün modele dayalı karşılığıdır.

Belirsiz bir talimat ('bu iyi mi?') gürültülü kararlar üretir. Açık ve somut, denetlenebilir ölçütlere sahip bir değerlendirme listesi tutarlı kararlar üretir. Bunu, eleştirmenin tek tek yanıtlayacağı evet/hayır sorularına ayırın.

Halüsinasyon tespiti için eleştirmene kaynak bağlamını verin ve bu bağlam tarafından desteklenmeyen tüm iddiaları işaretlemesini isteyin. Böylece öz eleştiri, kanıt olmadan 'bu doğru mu?' diye sormaktan çok daha güçlü bir desteklenme kontrolüne dönüşür.

Eleştirmenin kendisi de bir LLM'dir ve hata yapabilir:

• Yaranmacılık — yazarın yanıtını sorgulamadan onaylama.
• Aşırı eleştiri — doğru çıktıyı da işaretleme.
• Ortak kör noktalar — aynı modelin aynı hataları gözden kaçırması.

Eleştirmen olarak farklı bir model ailesi, katı bir değerlendirici kişiliği ve kalibre edilmiş eşikler kullanarak bu riskleri azaltın.

Eleştirmenin en pahalı model olması gerekmez. Çoğu zaman sıkı bir değerlendirme listesine sahip daha küçük bir model, maliyet açısından etkili bir kapı görevi görür; farklı bir model ailesi kullanmak da birbiriyle ilişkili kör noktaları azaltır. En güçlü modeli yazım için ayırın.

Öz eleştiri hataları azaltır ancak kanıt değildir. Düşük riskli içerikler için tek bir eleştiri turu yeterlidir. Yüksek riskli çıktılar için öz eleştiriyi belirlenimci doğrulayıcılar ve insan incelemesiyle birleştirin; güvenlik açısından kritik kararlarda bir modelin tek karar mercii olmasına asla izin vermeyin.

Öz eleştiri, istek başına çağrı sayısını yaklaşık iki katına çıkarır. Bunu denetleyin: eleştiriyi belirlenimci kontrollerin arkasına yerleştirin (yalnızca şemayı ve kuralları geçenleri eleştirin), aynı taslaklar için eleştirileri önbelleğe alın ve gözden geçirme turlarını sınırlayın. Mümkün olduğunda eleştiriyi engelleyici olmayan işlerle paralel çalıştırın.

Eleştirmene güvenmeden önce onu doğrulayın. İnsanlar tarafından etiketlenmiş çıktılardan oluşan bir küme oluşturun, eleştirmeni çalıştırın ve insan kararlarına göre kesinlik/duyarlılık ölçerek uyuşmayı değerlendirin. Eleştirmenin kararları insan kararlarıyla örtüşene kadar değerlendirme listesini ve kişiliği ayarlayın; model yükseltmelerinden sonra yeniden kontrol edin.

Öz eleştiri doğrulaması:

• Temiz bağlama sahip ayrı bir eleştirmen, yazarın çıktısını değerlendirir.
• Yapılandırılmış kararlar üretin; eleştiri ve ardından gözden geçirme döngüsünü yürütün.
• Somut değerlendirme listeleri ve temellendirilmiş desteklenme kontrolleri güvenilirliği artırır.
• Yaranmacılığa ve ortak kör noktalara dikkat edin; farklı bir eleştirmen modeli kullanın.
• Maliyete göre sınırlandırın, belirlenimci kontrollerle birleştirin ve insanlara göre kalibre edin.

Güvenlik önlemlerini tamamladınız. Sıradaki kurs: kırmızı takım çalışması ve düşmanca değerlendirme.