AI Prompt Engineering · บทเรียน

การวิเคราะห์สาเหตุรากของพรอมป์ต

แยกแยะว่าความล้มเหลวเกิดจากบริบท คำสั่ง รูปแบบ หรือความสามารถของโมเดล

การวิเคราะห์สาเหตุรากของพรอมป์ต เป็นบทเรียน AI Prompt Engineering ฟรีบน CoddyKit นี่คือบทเรียนที่ 2 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน AI Prompt Engineering และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส AI Prompt Engineering มีบทเรียนทั้งหมด 4 บทเรียน

เหตุใดการวิเคราะห์สาเหตุรากจึงสำคัญ

เมื่อพรอมต์ล้มเหลว อาจมีสาเหตุที่เป็นไปได้หลายประการ การปรับถ้อยคำแบบสุ่มทำให้เสียเวลา และอาจแก้ได้เพียงอาการโดยไม่แก้สาเหตุราก ส่งผลให้เกิดความล้มเหลวเดิมกับข้อมูลเข้าที่แตกต่างออกไปเพียงเล็กน้อย

การวิเคราะห์สาเหตุราก (RCA) คือกระบวนการอย่างเป็นระบบเพื่อแยกหาสาเหตุเฉพาะที่ทำให้พรอมต์ล้มเหลว เพื่อให้การแก้ไขมุ่งจัดการกับปัญหาที่แท้จริง

สาเหตุรากสี่ประเภท

ความล้มเหลวของพรอมต์ทุกกรณีย้อนกลับไปได้ถึงสาเหตุรากหนึ่งในสี่ประเภท:

ปัญหาบริบท: โมเดลขาดข้อมูลที่จำเป็นต่อการตอบอย่างถูกต้อง
ความกำกวมของคำสั่ง: คำสั่งตีความได้ถูกต้องหลายแบบ และโมเดลเลือกแบบที่ไม่ถูกต้อง
ความขัดแย้งด้านรูปแบบ: พรอมต์สองส่วนให้คำสั่งด้านรูปแบบที่ขัดแย้งกัน
ขีดจำกัดความสามารถของโมเดล: งานนั้นต้องใช้การให้เหตุผลหรือความรู้เกินกว่าที่โมเดลนี้จะทำได้อย่างน่าเชื่อถือ

สาเหตุรากที่ 1: ปัญหาบริบท

ปัญหาบริบทเกิดขึ้นเมื่อโมเดลตอบไม่ถูกต้องเพราะพรอมต์ไม่ได้ให้ข้อมูลที่จำเป็น โมเดลจึงเติมช่องว่างด้วยข้อมูลจากการฝึกสอน ซึ่งอาจล้าสมัย ไม่ถูกต้อง หรือเป็นข้อมูลหลอน

การทดสอบ: ให้ข้อมูลที่ขาดหายไปโดยตรงในพรอมต์ แล้วดูว่าคำตอบดีขึ้นหรือไม่ หากดีขึ้น แสดงว่าวิธีแก้คือการเพิ่มบริบท (เช่น ผ่านการเรียกคืนข้อมูลด้วย RAG)

# Failing prompt — no context
prompt_v1 = 'What is the current price of our Pro plan?'

# Context problem test: inject the information
prompt_v2 = '''
Our pricing (as of today):
- Free: $0/month
- Pro: $19/month
- Enterprise: $99/month

Question: What is the current price of our Pro plan?
'''
# If v2 succeeds and v1 fails -> root cause is context problem

สาเหตุรากที่ 2: ความกำกวมของคำสั่ง

ความกำกวมของคำสั่งเกิดขึ้นเมื่อสามารถตีความพรอมต์ได้อย่างสมเหตุสมผลหลายแบบ และโมเดลเลือกการตีความที่ไม่ถูกต้อง

ตัวอย่าง: 'สรุปโดยย่อ' — 'โดยย่อ' หมายถึงหนึ่งประโยค หนึ่งย่อหน้า หรือรายการหัวข้อย่อยสามรายการ การทดสอบ: แทนที่วลีที่กำกวมด้วยข้อกำหนดที่ชัดเจน แล้วตรวจสอบว่าความล้มเหลวหายไปหรือไม่

# Ambiguous
prompt_ambiguous = 'Summarize the following article briefly.'

# Precise — ambiguity removed
prompt_precise = (
    'Summarize the following article in exactly 2 sentences. '
    'Do not exceed 50 words. Output only the summary, nothing else.'
)

# Test: if precise version succeeds, root cause was ambiguity
# Fix: replace vague qualifiers with exact specifications

สาเหตุรากที่ 3: ความขัดแย้งด้านรูปแบบ

ความขัดแย้งด้านรูปแบบเกิดขึ้นเมื่อพรอมต์สองส่วนให้คำสั่งที่ขัดแย้งกัน โมเดลต้องเลือกทำตามคำสั่งหนึ่งและไม่สนใจอีกคำสั่งหนึ่ง โดยมักเลือกคำสั่งที่ใหม่กว่าหรือโดดเด่นกว่า

ตัวอย่าง: พรอมต์ระบบระบุว่า 'ตอบเป็นข้อความธรรมดา' แต่ข้อความผู้ใช้ระบุว่า 'ใช้มาร์กดาวน์' โมเดลอาจทำตามคำสั่งใดคำสั่งหนึ่งอย่างไม่สม่ำเสมอ

# Format conflict example
system_prompt = 'You are a helpful assistant. Always respond in plain text without any formatting.'

user_message = 'List the top 5 benefits of exercise. Use markdown bullet points.'

# The model faces a conflict: plain text vs markdown.
# Detection: if output format is inconsistent across runs, look for conflicting instructions.

# Fix: ensure all format instructions agree. Move format to system prompt only.
system_prompt_fixed = (
    'You are a helpful assistant. '
    'Always respond using markdown bullet points for lists.'
)

สาเหตุรากที่ 4: ขีดจำกัดด้านความสามารถของโมเดล

ความล้มเหลวจาก ขีดจำกัดด้านความสามารถ เกิดขึ้นเมื่องานนั้นเกินกว่าที่โมเดลจะทำได้อย่างน่าเชื่อถือจริง ๆ ความล้มเหลวนี้แตกต่างจากสาเหตุอีกสามประการ — การเปลี่ยนพรอมต์จะไม่สามารถแก้ไขได้ทั้งหมด

สัญญาณบ่งชี้: อัตราความล้มเหลวยังคงสูงแม้มีคำสั่งที่ชัดเจนและบริบทครบถ้วน วิธีแก้ไข: ใช้โมเดลที่มีความสามารถสูงกว่า แบ่งงานเป็นขั้นตอนที่ง่ายขึ้น หรือเพิ่มขั้นตอนการตรวจสอบ

# Capability limit test: try the same task on different models
models = ['gpt-4o-mini', 'gpt-4o', 'gpt-4o-2024-11-20']
results = {}

for model in models:
    resp = client.chat.completions.create(
        model=model,
        messages=[{'role': 'user', 'content': complex_reasoning_prompt}]
    )
    results[model] = evaluate(resp.choices[0].message.content)

# If accuracy improves with more capable models -> capability limit
for model, score in results.items():
    print(f'{model}: {score:.0%} accuracy')

วิธีการแยกสาเหตุ

หากต้องการระบุว่าสาเหตุรากใดกำลังทำงานอยู่ ให้ใช้ การแยกสาเหตุอย่างเป็นระบบ:

เรียกใช้พรอมต์ที่ล้มเหลวและจำแนกประเภทความล้มเหลว (คำตอบผิด รูปแบบผิด ฯลฯ)
เพิ่มข้อมูล → หากแก้ได้: ปัญหาด้านบริบท
ทำให้คำสั่งชัดเจนขึ้น → หากแก้ได้: ความกำกวม
ตรวจสอบความขัดแย้ง → หากแก้ได้: ความขัดแย้งด้านรูปแบบ
อัปเกรดโมเดล → หากแก้ได้: ขีดจำกัดด้านความสามารถ

ควรต้องใช้วิธีแก้ไขเพียงอย่างเดียว หากต้องใช้หลายวิธี แสดงว่ามีสาเหตุรากหลายประการ

def rca_test(base_prompt, test_input, expected_output):
    results = {}

    # Test 1: base (failing) prompt
    results['base'] = run_and_evaluate(base_prompt, test_input, expected_output)

    # Test 2: add context
    results['with_context'] = run_and_evaluate(
        base_prompt + '\nContext: ' + get_context(test_input),
        test_input, expected_output
    )

    # Test 3: clarify instructions
    results['clarified'] = run_and_evaluate(
        clarify(base_prompt), test_input, expected_output
    )

    for name, passed in results.items():
        print(f'{name}: {"PASS" if passed else "FAIL"}')

การตัดสาเหตุออกเทียบกับการยืนยัน

RCA มีสองแนวทาง:

การตัดออก: ตัดสาเหตุที่ NOT เป็นตัวการออก (ทดสอบสมมติฐานแต่ละข้อและดูว่าข้อใดไม่ทำให้ผลลัพธ์เปลี่ยนแปลง)
การยืนยัน: ระบุสาเหตุที่เมื่อแก้ไขแล้ว สามารถแก้ความล้มเหลวได้อย่างสม่ำเสมอในข้อมูลนำเข้าทดสอบหลายชุด

การยืนยันต้องใช้ข้อมูลนำเข้าทดสอบอย่างน้อย 3 ชุด วิธีแก้ไขที่ใช้ได้กับข้อมูลนำเข้าชุดหนึ่งแต่ใช้ไม่ได้กับชุดอื่น ยังไม่ถือว่าแก้สาเหตุรากได้ — อาจแก้ได้เพียงอาการเท่านั้น

def confirm_root_cause(fix_fn, test_cases, threshold=0.9):
    '''fix_fn: a function that takes a prompt and returns a fixed prompt'''
    passed = 0
    for case in test_cases:
        fixed_prompt = fix_fn(case['prompt'])
        result = run_and_evaluate(fixed_prompt, case['input'], case['expected'])
        if result:
            passed += 1

    pass_rate = passed / len(test_cases)
    print(f'Fix pass rate: {pass_rate:.0%}')
    if pass_rate >= threshold:
        print('Root cause CONFIRMED — fix is reliable.')
    else:
        print('Root cause NOT confirmed — failure has multiple causes.')

การบันทึกสาเหตุราก

หลังจากระบุสาเหตุรากได้แล้ว ให้บันทึกไว้ในบันทึกการเปลี่ยนแปลงพรอมต์ โดยระบุข้อมูลต่อไปนี้:

ประเภทความล้มเหลวที่สังเกตพบ
หมวดหมู่ของสาเหตุราก
สมมติฐานที่ทดสอบ
หลักฐาน (การทดสอบใดผ่านหลังการแก้ไข)
การเปลี่ยนแปลงเฉพาะที่ทำกับพรอมต์

วิธีนี้ช่วยป้องกันไม่ให้วิศวกรในอนาคตต้องตรวจสอบความล้มเหลวเดิมซ้ำ และช่วยให้มองเห็นรูปแบบที่เกิดขึ้นในพรอมต์ต่าง ๆ

rca_record = {
    'prompt_id': 'summarize_v3',
    'failure_type': 'wrong_format',
    'root_cause': 'format_conflict',
    'hypothesis': 'System prompt said plain text, user message asked for markdown',
    'evidence': 'Removing markdown instruction from user message resolved failure on 8/8 test cases',
    'fix_applied': 'Moved all format instructions to system prompt; removed format instructions from user template',
    'fix_date': '2024-11-15'
}

ข้อผิดพลาดที่พบบ่อย: แก้สาเหตุผิดจุด

ข้อผิดพลาดที่พบบ่อยที่สุดในการทำ RCA คือการแก้อาการแทนที่จะแก้สาเหตุ ตัวอย่าง:

อาการ: โมเดลส่งคืน JSON ที่มีคำนำเป็นข้อความบรรยายเกินมา
วิธีแก้ผิด: เพิ่มการประมวลผลภายหลังเพื่อตัดข้อความบรรยายออกจากผลลัพธ์
สาเหตุรากที่แท้จริง: ไม่มีคำสั่งด้านรูปแบบในพรอมต์ + โมเดลใช้รูปแบบการสนทนาเป็นค่าเริ่มต้น
วิธีแก้ที่ถูกต้อง: เพิ่มคำสั่งที่ชัดเจนว่า 'ส่งคืนเฉพาะ JSON ที่ถูกต้องเท่านั้น ห้ามมีข้อความอื่น'

กลเม็ดการประมวลผลภายหลังจะสะสมหนี้ทางเทคนิค การแก้ที่ต้นเหตุมีความคงทน

RCA สำหรับความล้มเหลวที่เกิดเป็นบางครั้ง

ความล้มเหลวบางอย่างเกิดขึ้นเป็นบางครั้ง — พรอมต์ทำงานถูกต้อง 80% ของเวลา แต่ล้มเหลว 20% ความล้มเหลวประเภทนี้วินิจฉัยได้ยากกว่า เพราะการเรียกใช้พรอมต์เพียงครั้งเดียวอาจให้ผลลัพธ์ที่ถูกต้อง

แนวทาง: เรียกใช้พรอมต์ 10–20 ครั้งกับข้อมูลนำเข้าเดียวกัน หากอัตราความล้มเหลวไม่เป็นศูนย์ แสดงว่าพรอมต์มีสาเหตุรากเชิงความน่าจะเป็น — โดยทั่วไปเกิดจากความกำกวมของคำสั่งหรือค่าความสุ่มสูง วิธีแก้ไข: ทำให้คำสั่งเจาะจงมากขึ้น หรือลดค่าความสุ่ม

def measure_failure_rate(prompt, test_input, expected, runs=20):
    failures = 0
    for _ in range(runs):
        resp = client.chat.completions.create(
            model='gpt-4o',
            messages=[{'role': 'user', 'content': prompt + '\n' + test_input}],
            temperature=0.7
        )
        if not evaluate(resp.choices[0].message.content, expected):
            failures += 1
    print(f'Failure rate: {failures}/{runs} = {failures/runs:.0%}')

ตรวจสอบความเข้าใจ

พรอมต์ขอการตอบกลับในรูปแบบ JSON แต่บางครั้งส่งคืน JSON ที่มีคำนำแบบสนทนา เช่น 'ได้เลย! นี่คือ JSON:' หลังจากเพิ่มคำสั่งว่า 'ส่งคืนเฉพาะ JSON ที่ถูกต้องเท่านั้น ห้ามมีข้อความอื่น' ความล้มเหลวก็หยุดลง สาเหตุรากคืออะไร

สรุป: การวิเคราะห์สาเหตุราก

หมวดหมู่สาเหตุรากทั้งสี่ประการของความล้มเหลวของพรอมต์:

ปัญหาด้านบริบท: โมเดลขาดข้อมูลที่จำเป็น — วิธีแก้: เพิ่มบริบทผ่าน RAG หรือการแทรกโดยตรง
ความกำกวมของคำสั่ง: คำสั่งคลุมเครือและตีความได้หลายแบบ — วิธีแก้: เพิ่มความแม่นยำ
ความขัดแย้งด้านรูปแบบ: คำสั่งด้านรูปแบบขัดแย้งกัน — วิธีแก้: รวบรวมไว้ในคำสั่งระบบ
ขีดจำกัดด้านความสามารถของโมเดล: งานเกินความสามารถของโมเดล — วิธีแก้: อัปเกรดโมเดลหรือแยกงานเป็นส่วนย่อย

ใช้การแยกสาเหตุอย่างเป็นระบบเพื่อทดสอบแต่ละสมมติฐาน ยืนยันวิธีแก้ไขกับกรณีทดสอบหลายกรณี และบันทึกสิ่งที่ค้นพบ บทเรียนถัดไป: การแก้ไขข้อบกพร่องด้วยการค้นหาแบบทวิภาคอย่างเป็นระบบ

คำถามที่พบบ่อย

บทเรียน “การวิเคราะห์สาเหตุรากของพรอมป์ต” ฟรีหรือไม่

ใช่ — ข้อความเต็มของ “การวิเคราะห์สาเหตุรากของพรอมป์ต” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส AI Prompt Engineering ให้อัปเกรดเป็น CoddyKit PRO คอร์ส AI Prompt Engineering มีบทเรียนทั้งหมด 4 บทเรียน

คุณจะเรียนรู้อะไรในบทเรียน “การวิเคราะห์สาเหตุรากของพรอมป์ต”

แยกแยะว่าความล้มเหลวเกิดจากบริบท คำสั่ง รูปแบบ หรือความสามารถของโมเดล คุณปฏิบัติ AI Prompt Engineering ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน

คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน AI Prompt Engineering หรือไม่

ไม่จำเป็นต้องมีประสบการณ์มาก่อน AI Prompt Engineering บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 2 จากทั้งหมด 4 บทเรียน

บทเรียน “การวิเคราะห์สาเหตุรากของพรอมป์ต” ใช้เวลานานแค่ไหน

บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย

ฉันเขียนและรันโค้ดในบทเรียน AI Prompt Engineering นี้ได้ไหม

ได้ บทเรียน AI Prompt Engineering ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ

บทเรียนทั้งหมดในหลักสูตรนี้

← กลับไปที่ AI Prompt Engineering