RAG'nin Çözdüğü Problem

Her büyük dil modeli, bilgi kesim tarihi adı verilen belirli bir tarihe kadar internetin bir anlık görüntüsü üzerinde eğitilir. GPT-4o'nun kesim tarihi 2024'ün başlarıdır. Modele bu tarihten sonra gerçekleşen olayları sorarsanız ya bilgisiz olduğunu itiraf eder ya da daha kötüsü, kulağa inandırıcı gelen ancak yanlış bilgileri kendinden emin biçimde uydurur. Güncel veya özel mülkiyete konu bilgilere ihtiyaç duyan uygulamalar için bu temel bir sorundur.

Halüsinasyon, bir LLM'in otoriter görünen ancak gerçekte yanlış olan metinler üretmesiyle ortaya çıkar. Modeller akıcı ve tutarlı metin üretmek üzere eğitilir; bir şeyi bilmediklerinde açıkça reddetmeleri için eğitilmezler. Bunun sonucunda bilgi boşluklarını makul tahminlerle doldururlar. Araştırmalar, dış kaynaklarla temellendirilmeden en iyi modellerin bile bilgi yoğun görevlerde %10-40 oranında halüsinasyon gördüğünü ortaya koyuyor.

Bir LLM'e şu soruyu sorduğunuzu düşünün: Şirketimizin 2025'in üçüncü çeyreğine ait tedarikçi sözleşmesinin şartları nelerdir? Model, şirketinizin iç belgesini hiç görmemiştir. Bilmediğini söylemek yerine genel hukuk dili kullanarak kulağa inandırıcı gelen bir sözleşme özeti üretebilir. Bir çalışan bu uydurma bilgiye göre hareket ederse sonuçlar ciddi olabilir. RAG'in önlemek üzere tasarlandığı tam olarak bu hata biçimidir.

RAG'in ardındaki fikir basittir: modele ilgili bilgiyi isteminin içine verirseniz modelin ezberlenmiş bilgisine güvenmesi gerekmez. Model, hafızadan üretmekten bağlamdan okumaya geçer. İnsanlar da böyle çalışır; kesin ayrıntılara ihtiyaç duyduğunuzda hatırlamaya güvenmek yerine bilgiyi arayıp bulursunuz. RAG, aynı iş akışını LLM'ler için işler hâle getirir.

Yaygın bir yanlış kanı, modeli belgeleriniz üzerinde ince ayarlamanın halüsinasyon sorununu çözdüğüdür. İnce ayarlama, modelin üslubunu, biçimini ve göreve uyumunu geliştirmek için ağırlıklarını günceller; ancak olgusal bilgileri güvenilir biçimde modele kazandırmaz. Çalışmalar, ince ayarlanmış modellerin eğitim verilerinin kendisi hakkında bile halüsinasyon üretmeye devam ettiğini göstermektedir. Bilginin güvenilir biçimde hatırlanabilmesi için çıkarım zamanında bağlam penceresi aracılığıyla sağlanması gerekir.

RAG, canlı bir belge deposundan bilgi getirdiği için zaman içinde değişen bilgileri doğal biçimde ele alır. İlke belgeniz güncellendiğinde belgeyi yeniden dizinlersiniz ve bundan sonraki her sorgu, modelin yeniden eğitilmesine gerek kalmadan yeni sürümü anında kullanır. Bu özellik, RAG'i kurum içi bilgi tabanları, müşteri destek sistemleri ve finansal araştırma araçları gibi uygulamalarda periyodik ince ayarlamaya kıyasla çok daha pratik kılar.

Çoğu kurumsal veri, gizlilik ve uyumluluk gereksinimleri nedeniyle eğitim amacıyla OpenAI'a gönderilemez. RAG bu sorunu aşar: hassas belgeleriniz kendi vektör veritabanınızda kalır ve her sorgu için yalnızca ilgili parçalar LLM'e gönderilir. Tüm verileri kurum içinde tutmak için Llama 3 gibi yerel bir LLM bile çalıştırabilirsiniz. RAG, gizli kurumsal içerikler üzerinde yapay zekâ oluşturmanın temel yaklaşımıdır.

Bir LLM belleğinden üretim yaptığında belirtilebilecek bir kaynak yoktur. Getirilen belgelerden üretim yaptığında ise tam kaynakları belirtebilir. Modele, yanıtına belge adlarını ve sayfa numaralarını eklemesini söyleyebilir; kullanıcıların da asıl kaynağı doğrulamak için bu bağlantılara tıklamasını sağlayabilirsiniz. Kaynak belirtme, yapay zekâ tarafından üretilen yanıtlara duyulan güveni büyük ölçüde artırır; bu da hukuki, tıbbi ve finansal uygulamalarda kritik öneme sahiptir.

RAG, çıkarım zamanında iki adımlı bir yaklaşım izler: Getir — kullanıcı sorusunu bir gömmeye dönüştürün, en ilgili belge parçalarını bulmak için vektör deposunda arama yapın ve en iyi K sonucu toplayın. Üret — getirilen parçaları bağlam olarak içeren bir istem oluşturun ve LLM'den soruyu yalnızca bu bağlama dayanarak yanıtlamasını isteyin. LLM okur, sentezler ve yanıt verir.

RAG güçlüdür ancak her derde deva değildir. Şu durumlarda yine başarısız olabilir: yanıtın yüzlerce belgeyi birleştirerek sentezlemesi gerektiğinde (getirme işlemi yalnızca birkaç parça döndürür), soru doğası gereği çok adımlı olduğunda ve modelin ara adımlar üzerinden akıl yürütmesi gerektiğinde ya da getirilen parçalar yanıltıcı veya çelişkili olduğunda. Bu sınırlamaları anlamak, RAG'i akıl yürütme aracılarıyla birleştiren hibrit sistemler tasarlamanıza yardımcı olur.

Bir LLM'e alan bilgisi kazandırmak için üç temel seçeneğiniz vardır: istemi bilgiyle doldurma (her şeyi isteme koyar; yalnızca çok küçük derlemelerde işe yarar), ince ayarlama (üslup ve biçimi iyi öğretir ancak olgusal bilgileri güvenilir biçimde hatırlatmaz) ve RAG (ilgili gerçekleri çıkarım zamanında dinamik olarak getirir ve milyonlarca belgeye ölçeklenebilir). Güncel, özel veya büyük ölçekli bilgi gerektiren çoğu üretim kullanımında doğru seçim RAG'dir.

Bu dersteki Yapay Zekâ Mühendisliği kavramlarını anlayıp anlamadığınızı test edin.

Bu derste şunları öğrendiniz: bilgi kesintileri ve “bilmiyorum” diyememe nedeniyle LLM'lerin neden halüsinasyon ürettiğini, olgusal bilgileri hatırlama açısından ince ayarlamanın halüsinasyon sorununu neden çözmediğini ve RAG'in yanıtları getirilen belgelere nasıl dayandırdığını; bunun da kaynak belirtmeyi, gerçek zamanlı bilgiyi ve özel verilerin güvenli kullanımını mümkün kıldığını gördünüz. Sırada, dizinleme ve getirme aşamalarını içeren eksiksiz RAG mimarisini inceleyeceğiz.