LLM Apps in Production (RAG + Vector DB + Caching) · Ders

RAG Uygulamanızı Sınama ve Değerlendirme

İlk RAG uygulamanıza güven oluşturmak için bir sınama kümesi oluşturun ve yayımlamadan önce getirme ile yanıt kalitesini pratik ölçütlerle ölçün.

4. ders / 413 adım

RAG Uygulamanızı Sınama ve Değerlendirme, CoddyKit'te ücretsiz bir LLM Apps in Production (RAG + Vector DB + Caching) dersidir. Bu, 4 dersinin 4. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, LLM Apps in Production (RAG + Vector DB + Caching) öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. LLM Apps in Production (RAG + Vector DB + Caching) kursu toplamda 4 dersten oluşur.

Bu dersin bazı bölümleri henüz çevrilmemiş olup İngilizce olarak gösterilmektedir.

Why Evaluate RAG

A RAG app can look fine on a few queries and fail badly on others. Without measurement you cannot tell if a change helped or hurt.

Evaluation gives you a repeatable score to guide improvements.

Two Things to Measure

RAG quality has two parts:

Retrieval: did we fetch the right documents?
Generation: did the answer use them correctly?

A bad answer can come from either, so measure both.

Building a Test Set

Create a small set of questions with known correct answers and the documents that contain them. Even 20 to 50 examples are enough to start.

testset = [
    {'q': 'What is the refund window?',
     'answer': '30 days',
     'source': 'policy.md'}
]

Retrieval Metric: Hit Rate

Hit rate (or recall@k) checks whether the correct source appears in the top-k retrieved chunks. High hit rate means retrieval is doing its job.

def hit(retrieved, expected_source):
    return any(d.metadata['source'] == expected_source
               for d in retrieved)

Faithfulness

Faithfulness asks: is the answer supported by the retrieved context, or did the model make things up? An LLM judge can score this automatically.

Answer Relevance

Answer relevance measures whether the response actually addresses the question, regardless of sources. A faithful answer can still be off-topic.

LLM as a Judge

You can use a strong model to grade outputs against the expected answer, returning a pass or score with a reason.

judge_prompt = (
    'Question: {q}\nExpected: {gold}\n'
    'Got: {pred}\nIs it correct? Answer yes or no.'
)

Running the Evaluation

Loop over the test set, run your pipeline, and aggregate scores into a single report you can compare across versions.

scores = []
for case in testset:
    pred = rag.invoke(case['q'])
    scores.append(grade(case, pred))
print(sum(scores) / len(scores))

Comparing Configurations

Change one variable — chunk size, k, prompt, model — rerun the same test set, and compare scores. This turns guesswork into evidence-based tuning.

Watching for Regressions

Keep the test suite in CI. When a change drops a metric, you catch the regression before users do. Treat evaluation like unit tests for AI quality.

Improving From Results

Use failures to guide fixes:

Low hit rate? Adjust chunking or retrieval
Low faithfulness? Strengthen grounding instructions
Low relevance? Improve the prompt

Quick Check

Test your evaluation knowledge.

İnteraktif derste cevapla

Recap

You learned to evaluate your RAG app:

Measure both retrieval and generation
Build a small test set with known answers
Use hit rate, faithfulness, and answer relevance
Let an LLM judge grade outputs
Compare configs and guard against regressions in CI

Evaluation turns RAG improvement into a measurable, repeatable process.

Başlamak ücretsiz

Yapay zeka eğitmeniyle LLM Apps in Production (RAG + Vector DB + Caching) öğren — ücretsiz

Tarayıcında gerçek kod yaz ve çalıştır, 7/24 yapay zeka eğitmeninden anında yardım al; web'de ya da uygulamada kaldığın yerden devam et.

Kurslar: 12
Dersler: 48

Ücretsiz öğrenmeye başla Tüm kursu görüntüle

Sıkça Sorulan Sorular

“RAG Uygulamanızı Sınama ve Değerlendirme” dersi ücretsiz mi?

Evet — “RAG Uygulamanızı Sınama ve Değerlendirme” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve LLM Apps in Production (RAG + Vector DB + Caching) kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. LLM Apps in Production (RAG + Vector DB + Caching) kursu toplamda 4 dersten oluşur.

“RAG Uygulamanızı Sınama ve Değerlendirme” dersinde ne öğreneceğim?

İlk RAG uygulamanıza güven oluşturmak için bir sınama kümesi oluşturun ve yayımlamadan önce getirme ile yanıt kalitesini pratik ölçütlerle ölçün. LLM Apps in Production (RAG + Vector DB + Caching) ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.

LLM Apps in Production (RAG + Vector DB + Caching) öğrenmeye başlamak için deneyim gerekli mi?

Önceden deneyim gerekmez. CoddyKit'te LLM Apps in Production (RAG + Vector DB + Caching), başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 4. dersidir.

“RAG Uygulamanızı Sınama ve Değerlendirme” dersi ne kadar sürer?

Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.

Bu LLM Apps in Production (RAG + Vector DB + Caching) dersinde kod yazıp çalıştırabilir miyim?

Evet. Her LLM Apps in Production (RAG + Vector DB + Caching) dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.

Bu kursun tüm dersleri

LLM Sağlayıcısı Seçme
Veri Yükleme ve Metin Parçalama Temelleri
Basit Bir RAG İşlem Hattı Oluşturma
RAG Uygulamanızı Sınama ve Değerlendirme

← LLM Apps in Production (RAG + Vector DB + Caching) Sayfasına Dön