การสร้างชุดทดสอบมาตรฐาน

ชุดข้อมูลมาตรฐานคืออะไร

คุณสมบัติของชุดข้อมูลมาตรฐานที่ดี

ควรมีกรณีจำนวนเท่าใด

การจัดหากรณี

Mining Bad Production Traces

for trace in last_week_traces():
    if trace.has_thumbs_down or trace.had_error:
        case = {
            'input': trace.input,
            'why_bad': trace.feedback_comment,
            'expected': None   # to be filled by human reviewer
        }
        save_to_review_queue(case)

ผลลัพธ์ที่คาดหวัง: ตรงทุกประการเทียบกับใช้เกณฑ์ประมาณ

Heuristic Scoring

def score_answer(actual, expected_facts):
    return sum(1 for f in expected_facts if f.lower() in actual.lower()) / len(expected_facts)

case = {
    'input': 'What is our refund policy?',
    'expected_facts': ['30 days', 'unopened', 'receipt required'],
    'min_score': 0.66   # at least 2 of 3 facts mentioned
}

actual_answer = "You can return items within 30 days if they are unopened."
score = score_answer(actual_answer, case['expected_facts'])
print(f"Score: {score:.2f} (min required: {case['min_score']})")

กรณีเชิงปรปักษ์

การกำหนดรุ่นชุดข้อมูลมาตรฐาน

// gold-set.json
[
  {
    "id": "refund-policy-001",
    "input": "What is your refund policy?",
    "expected_facts": ["30 days", "unopened", "receipt required"],
    "added_by": "alice@",
    "added_at": "2025-08-12",
    "reason": "Top customer support question"
  }
]

การแบ่งชุดทดสอบ/ชุดกันไว้ตรวจสอบ

การติดป้ายกำกับพาเรโต

tag1 = {'tags': ['policy', 'common-question']}
tag2 = {'tags': ['math', 'edge-case']}
print(tag1)
print(tag2)

# Run eval and report:
print("Category 'policy': 0.92")
print("Category 'math': 0.68   <- regression here")

เกณฑ์การประเมิน

rubric = {
    'must_include': ['30 days'],
    'must_not_include': ['no refunds'],
    'preferably_includes': ['receipt']
}
for k, v in rubric.items():
    print(f"{k}: {v}")

แหล่งที่มาของกรณี

สรุป