ความสามารถและข้อจำกัดของ LLM
สำรวจสิ่งที่ LLM ทำได้ดีอย่างแท้จริงและจุดที่ทำงานล้มเหลว รวมถึงการสร้างข้อมูลหลอน ขอบเขตความรู้ และข้อจำกัดด้านการใช้เหตุผล เพื่อกำหนดความคาดหวังต่อโครงการอย่างสมจริง
ความสามารถและข้อจำกัดของ LLM เป็นบทเรียน AI Engineering Academy ฟรีบน CoddyKit นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน AI Engineering Academy และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส AI Engineering Academy มีบทเรียนทั้งหมด 4 บทเรียน
สิ่งที่ LLM ทำได้ยอดเยี่ยมอย่างแท้จริง
LLM โดดเด่นในงานภาษา เช่น การสรุป การแปล การเขียนโค้ด และการปรับข้อความให้อยู่ในรูปแบบต่าง ๆ เช่น JSON เพียงยกตัวอย่างให้สองสามตัวอย่าง ระบบก็จับรูปแบบได้อย่างรวดเร็ว
ภาพหลอน: รูปแบบความล้มเหลวพื้นฐาน
ภาพหลอน คือการที่แบบจำลองกล่าวสิ่งที่ไม่จริงด้วยความมั่นใจ แบบจำลองทำนายสิ่งที่ฟังดูน่าจะเป็น ไม่ใช่สิ่งที่เป็นจริง ดังนั้นอย่าใช้แบบจำลองเป็นแหล่งข้อมูลข้อเท็จจริงเพียงแหล่งเดียว
จุดตัดความรู้และข้อมูลล้าสมัย
แบบจำลองทุกตัวมี จุดตัดความรู้ ซึ่งหมายความว่าจะไม่รู้ข้อมูลใด ๆ หลังวันที่นั้น หากต้องการข้อมูลล่าสุด ให้ป้อนเอกสารใหม่เข้าสู่แบบจำลองขณะค้นหาด้วย RAG
ขีดจำกัดด้านการให้เหตุผล: ไม่ใช่เครื่องจักรตรรกะ
LLM เลียนแบบการให้เหตุผล แต่ไม่ใช่ เครื่องจักรตรรกะ ที่แท้จริง จึงมักผิดพลาดกับคณิตศาสตร์ที่ต้องแม่นยำและตรรกะหลายขั้นตอน สำหรับงานที่ต้องการความแม่นยำ ให้ส่งต่อให้เครื่องมือจริง ดูตัวอย่างได้ในโค้ด
# Illustrating why you should use tools for computation
from openai import OpenAI
client = OpenAI()
# BAD: asking LLM to compute this directly
prompt_bad = 'What is 7.3% of 48,291.67?'
# GOOD: let Python compute, LLM just formats the answer
def calculate_percentage(value, pct):
return round(value * pct / 100, 2)
result = calculate_percentage(48291.67, 7.3)
print(f'7.3% of 48,291.67 is {result}') # 3525.29 - always correctหน้าต่างบริบทในฐานะข้อจำกัดตายตัว
หน้าต่างบริบท คือจำนวนโทเค็นสูงสุดที่แบบจำลองจัดการได้ในครั้งเดียว ซึ่งรวมคำสั่ง ประวัติ และผลลัพธ์ หากเกินขีดจำกัด คำขอนั้นจะล้มเหลวทันที
ความไวต่อการใช้ถ้อยคำในคำสั่ง
LLM ไวต่อ การใช้ถ้อยคำในคำสั่ง การเปลี่ยนคำเพียงเล็กน้อยหรือเพิ่มข้อความว่า “คิดทีละขั้นตอน” อาจทำให้คำตอบเปลี่ยนไปมาก มีพลัง แต่ควรทดสอบอย่างรอบคอบ
ความไม่สม่ำเสมอและความไม่เป็นกำหนดแน่นอน
LLM มีลักษณะ ไม่เป็นกำหนดแน่นอน คำสั่งเดียวกันอาจให้คำตอบต่างกัน แบบจำลองที่ถูกต้อง 95% ก็ยังผิด 1 ครั้งจากทุก 20 ครั้ง ดังนั้นควรทดสอบกับตัวอย่างจำนวนมาก ไม่ใช่เพียงไม่กี่ตัวอย่าง
import openai
client = openai.OpenAI()
def sample_with_majority_vote(prompt, n=5):
responses = []
for _ in range(n):
r = client.chat.completions.create(
model='gpt-4o-mini',
messages=[{'role': 'user', 'content': prompt}],
temperature=0.3,
max_tokens=10
)
responses.append(r.choices[0].message.content.strip())
# Return most common answer
return max(set(responses), key=responses.count)การประจบ: อคติในการเห็นด้วย
การประจบ คือการที่แบบจำลองเห็นด้วยกับคุณแม้คุณจะผิด เพราะผู้ประเมินชอบคำตอบที่เห็นด้วย หากต้องการคำวิจารณ์จริง ๆ ให้ขอให้แบบจำลองโต้แย้งอีกฝ่าย
สิ่งที่ LLM ทำไม่ได้
ข้อจำกัดบางอย่างมีอยู่ในตัว LLM ไม่สามารถ ท่องเว็บ รันโค้ด จดจำบทสนทนาเก่า หรือคำนวณอย่างแม่นยำได้ด้วยตัวเอง ควรใช้เครื่องมือร่วมกับแบบจำลองสำหรับงานเหล่านี้
ปัญหาอคติและการนำเสนอผู้คน
เนื่องจากฝึกด้วยข้อความจากอินเทอร์เน็ต LLM จึงรับเอา อคติ ต่าง ๆ มาด้วย เช่น ภาพเหมารวม การครอบคลุมภาษาที่ไม่เท่าเทียม และมุมมองที่เอนเอียง ควรทดสอบกับผู้คนหลายกลุ่มและบันทึกข้อจำกัดให้ผู้ใช้ทราบ
การกำหนดความคาดหวังที่สมจริงสำหรับโครงการ
การสาธิตที่ดูดีอาจยังล้มเหลวกับอินพุตจริง นั่นไม่ใช่เหตุผลที่จะเลี่ยง LLM แต่เป็นเหตุผลที่ควรสร้าง การประเมินผล ตั้งแต่วันแรก และวัดความล้มเหลวไปเรื่อย ๆ
ตรวจสอบความเข้าใจ
ทดสอบความเข้าใจแนวคิดด้านวิศวกรรม AI จากบทเรียนนี้
สรุปบทเรียน
สรุป: ภาพหลอน ต้องใช้ RAG หรือการตรวจสอบ จุดตัดความรู้ต้องใช้การดึงข้อมูล และความไม่เป็นกำหนดแน่นอนต้องใช้การประเมินผลจริง ต่อไป: การเรียก OpenAI API ครั้งแรกของคุณ 🎉
คำถามที่พบบ่อย
บทเรียน “ความสามารถและข้อจำกัดของ LLM” ฟรีหรือไม่
ใช่ — ข้อความเต็มของ “ความสามารถและข้อจำกัดของ LLM” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส AI Engineering Academy ให้อัปเกรดเป็น CoddyKit PRO คอร์ส AI Engineering Academy มีบทเรียนทั้งหมด 4 บทเรียน
คุณจะเรียนรู้อะไรในบทเรียน “ความสามารถและข้อจำกัดของ LLM”
สำรวจสิ่งที่ LLM ทำได้ดีอย่างแท้จริงและจุดที่ทำงานล้มเหลว รวมถึงการสร้างข้อมูลหลอน ขอบเขตความรู้ และข้อจำกัดด้านการใช้เหตุผล เพื่อกำหนดความคาดหวังต่อโครงการอย่างสมจริง คุณปฏิบัติ AI Engineering Academy ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน
คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน AI Engineering Academy หรือไม่
ไม่จำเป็นต้องมีประสบการณ์มาก่อน AI Engineering Academy บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน
บทเรียน “ความสามารถและข้อจำกัดของ LLM” ใช้เวลานานแค่ไหน
บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย
ฉันเขียนและรันโค้ดในบทเรียน AI Engineering Academy นี้ได้ไหม
ได้ บทเรียน AI Engineering Academy ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ
บทเรียนทั้งหมดในหลักสูตรนี้
- จากการเติมข้อความอัตโนมัติสู่ ChatGPT
- ทรานส์ฟอร์เมอร์และกลไกความสนใจในภาษาที่เข้าใจง่าย
- การฝึก LLM
- ความสามารถและข้อจำกัดของ LLM