Yapay Zeka Çıktılarını Okuma ve Değerlendirme

Bir yapay zekâ yanıtı almak işin yalnızca yarısıdır. İkinci yarısı, bu yanıtın gerçekten iyi olup olmadığını değerlendirmektir.

Açık bir değerlendirme çerçevesi olmadan, düzgün görünen ancak yanlış soruyu yanıtlayan bir yanıtı kabul edebilir veya beklediğiniz biçimde düzenlenmediği için gerçekten yararlı bir yanıtı reddedebilirsiniz.

Yapay zekâ çıktılarının kalitesini güvenilir biçimde değerlendirme becerisi, istem mühendisliğindeki en pratik becerilerden biridir.

Bir yapay zekâ yanıtını okurken onu dört boyutta değerlendirin:

• İlgililik — Sorduğunuz asıl soruyu yanıtladı mı?
• Doğruluk — Bilgiler gerçeğe uygun mu?
• Eksiksizlik — İstemin tüm bölümlerini kapsadı mı?
• Biçim — İhtiyacınız olan şekilde yapılandırılmış mı?

Bir yanıt üç ölçütte yüksek puan alırken dördüncüsünde başarısız olabilir. Her ölçüt bağımsız olarak önem taşır.

Uygunluk şu soruyu gündeme getirir: model gerçekten sorduğunuz soruyu mu yanıtladı, yoksa ilgili ancak farklı bir soruyu mu yanıtladı?

Örnek: "Sağlık hizmetlerinde LLM kullanmanın riskleri nelerdir?" diye sorarsınız ve model, LLM çalışma biçimine dair genel bir açıklamayla yanıt verir. Bu yanıt doğru olabilir, ancak uygun değildir; asıl noktayı kaçırmıştır.

Uygunluğu kontrol etmek için özgün isteminizi yeniden okuyun ve şu soruyu sorun: yanıt sorduğum şeyi doğrudan ele alıyor mu?

Doğruluk şu soruyu gündeme getirir: yanıttaki gerçekler, sayılar ve iddialar doğru mu?

Yapay zekâ modelleri halüsinasyon üretebilir; doğruymuş gibi kendinden emin bir biçimde aslında yanlış bilgiler verebilirler. Yaygın doğruluk sorunları şunlardır:

• Yanlış istatistikler veya tarihler
• Yanlış kişilere atfedilen alıntılar
• Güncelmiş gibi sunulan güncelliğini yitirmiş bilgiler
• Uydurma kaynaklar veya atıflar

Gerçeğe dayalı konularda, çıktıyı kullanmadan önce temel iddiaları her zaman güvenilir bir kaynakla doğrulayın.

Eksiksizlik şu soruyu gündeme getirir: yanıt, isteğinizin tüm bölümlerini kapsadı mı?

İsteminizin birden fazla bölümü varsa — "X'i açıklayın, üç örnek listeleyin ve bir sonraki adımı önerin" gibi — modelin yalnızca ilk bölümü değil, üçünü de ele aldığını kontrol edin.

Özellikle istem uzun olduğunda modeller çok bölümlü bir isteğin son kısmını bazen atlar. Yanıtı isteminizle madde madde karşılaştırarak okumak, eksiksizliği kontrol etmenin en güvenilir yoludur.

Biçim şu soruyu gündeme getirir: yanıt, ihtiyacınız olan şekilde yapılandırılmış mı?

Mükemmel derecede doğru ve eksiksiz bir yanıt bile biçimi yanlışsa kullanılması zor olabilir. Yaygın biçim uyumsuzlukları şunlardır:

• Madde points gerektiğinde düzyazı kullanılması
• Özete ihtiyaç duyduğunuzda uzun bir deneme sunulması
• Gezinmeyi kolaylaştıracak başlıkların eksik olması
• Açıklamasız kod veya kodsuz açıklamalar

Biçim sorunları, çoğu zaman bir takip istemiyle düzeltilmesi en kolay sorunlardır.

Herhangi bir yapay zekâ yanıtı aldıktan sonra şu zihinsel kontrol listesini uygulayın:

• Uygunluk: Gerçek sorumu yanıtlıyor mu?
• Doğruluk: Gerçeklere güvenebilir miyim? Neleri doğrulamam gerekir?
• Eksiksizlik: İsteğimin tüm bölümlerini kapsadı mı?
• Biçim: Kullanabileceğim bir şekilde yapılandırılmış mı?

Herhangi bir ölçüt karşılanmıyorsa, bu size tam olarak ne tür bir takip istemi yazmanız gerektiğini gösterir. Her ölçüt, belirli bir düzeltme türünü gösterir (points).

İkinci bir LLM çağrısını kullanarak her ölçüte göre bir yanıtı puanlayan hafif bir Python değerlendirme sarmalayıcısı oluşturabilirsiniz:

Uygunluk sorunları genellikle öngörülebilir örüntüler izler. Bunları tanımak değerlendirmenizi hızlandırır:

• Konu sapması — Model doğru bir başlangıç yapar, ardından ilgili bir konuya yönelir
• Sorunun değiştirilmesi — Model, sorunuzun daha basit veya kolay bir sürümünü yanıtlar
• Aşırı genelleme — Belirli bir durumu sorarsınız, model genel durumu yanıtlar
• Kısıtın yok sayılması — Bir bağlam belirtirsiniz (örneğin, "yeni başlayanlar için"), ancak model bunu yok sayar

Her örüntü, takip isteminizde belirli bir düzeltme yapılması gerektiğini gösterir.

Bir iddiayı hemen doğrulayamasanız bile bazı işaretler doğruluğun daha düşük olabileceğini gösterir:

• Kaynak belirtilmeden verilen çok kesin sayılar
• Fazla uygun veya tam isabetli görünen iddialar
• Başlıkları ve yazarları belirtilen araştırmalara, makalelere veya kitaplara yapılan göndermeler
• Tarihler ve sürüm numaraları (bunlar sık sık değişir)
• Hukuki, tıbbi veya mali ayrıntılar

Bunlar hata kanıtı değildir, ancak yüksek riskli bir bağlamda çıktıyı kullanmadan önce iki kez kontrol etmeye değer unsurlardır.

Değerlendirmenin asıl değeri, karşılanmayan her ölçütün doğrudan belirli bir takip istemi türüne karşılık gelmesidir:

• Uygunluk sorunu → "X'i yanıtladınız, ancak ben Y'yi soruyordum. Lütfen Y'ye odaklanın."
• Doğruluk endişesi → "Lütfen Z hakkındaki iddiayı iki kez kontrol edin ve dayanağınızı belirtin."
• Eksiksizlik sorunu → "Sorununuzun üçüncü bölümünü ele almadınız. Lütfen onu da ekleyin."
• Biçim sorunu → "Bunu, üstte tek satırlık bir özet olacak şekilde madde points biçiminde yeniden yazın."

Değerlendirme ve takip istemi yazma, bir geri bildirim döngüsü olarak işler.

Etkili istem yazma iki aşamalı bir süreçtir: istemi hazırlamak ve yanıtı değerlendirmek.

Dört ölçüt — Uygunluk, Doğruluk, Eksiksizlik, Biçim — herhangi bir yapay zekâ çıktısını sistemli biçimde değerlendirmenizi sağlar. Karşılanmayan her ölçüt, tam olarak ne tür bir takip istemi yazmanız gerektiğini gösterir.

Bir sonraki derste, belirli sorun türlerini düzeltmek için bu takip istemlerini yazma alıştırması yapacaksınız.