เกราะป้องกันและการประเมิน RAG
บล็อกเอาต์พุตที่ไม่เหมาะสมและวัดคุณภาพการค้นคืน
เกราะป้องกันและการประเมิน RAG เป็นบทเรียน MLOps Academy ฟรีบน CoddyKit นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน MLOps Academy และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส MLOps Academy มีบทเรียนทั้งหมด 4 บทเรียน
LLM ต้องมีราวกันตก
หากปล่อยไว้ตามลำพัง โมเดลอาจทำข้อมูลรั่วไหลหรือตอบนอกประเด็นได้ ระบบป้องกันคือการตรวจสอบรอบโมเดลที่ช่วยให้อินพุตและเอาต์พุตอยู่ภายในขอบเขตที่ปลอดภัย 🛡️
ตรวจสอบอินพุตก่อน
ก่อนเรียกใช้โมเดล ให้คัดกรองข้อความผู้ใช้เพื่อหาการแทรกคำสั่งในพรอมต์หรือเนื้อหาที่ห้ามใช้ ระบบป้องกันอินพุตจะหยุดคำขอที่ไม่เหมาะสมไม่ให้ไปถึง LLM
ตรวจสอบเอาต์พุตด้วย
หลังการสร้างผลลัพธ์ ให้ตรวจหาความเป็นพิษ ข้อมูลลับ หรือรูปแบบที่ไม่ถูกต้องในคำตอบ ระบบป้องกันเอาต์พุตจะบล็อกหรือเขียนข้อความที่ไม่ปลอดภัยใหม่ก่อนที่ผู้ใช้จะเห็น
if contains_pii(answer):
answer = "Sorry, I cannot share that."บังคับใช้โครงสร้าง
เมื่อคุณต้องการ JSON ให้ตรวจสอบกับโครงแบบและลองใหม่หากล้มเหลว ระบบป้องกันโครงแบบจะเปลี่ยนข้อความอิสระที่ไม่แน่นอนให้เป็นเอาต์พุตที่เชื่อถือได้และแยกวิเคราะห์ได้
from pydantic import BaseModel
class Reply(BaseModel):
answer: str
confidence: floatไลบรารีระบบป้องกัน
เครื่องมืออย่าง Guardrails AI และ NeMo Guardrails รวมการตรวจสอบเหล่านี้ไว้ด้วยกัน ไลบรารีช่วยมอบตัวตรวจสอบสำเร็จรูป แทนการสร้างกฎทุกข้อด้วยตนเอง
มารู้จัก RAG
แอป LLM จำนวนมากดึงเอกสารมาแล้วส่งให้โมเดล รูปแบบ RAG หรือการสร้างผลลัพธ์แบบเสริมด้วยการค้นคืนนี้ ช่วยให้คำตอบอ้างอิงจากข้อมูลของคุณเอง
สิ่งที่อาจผิดพลาดมีสองส่วน
RAG อาจล้มเหลวที่การค้นคืนหรือการสร้างผลลัพธ์ ดังนั้นคุณจึงต้องประเมินตัวค้นคืนและคำตอบแยกจากกัน เพราะการแก้ไขส่วนหนึ่งไม่ได้แก้อีกส่วนหนึ่ง
ให้คะแนนการค้นคืน
ตรวจสอบว่าชิ้นข้อมูลที่ดึงมามีคำตอบอยู่จริงหรือไม่ การเรียกคืนบริบทวัดว่าข้อมูลที่ถูกต้องถูกนำเข้าไปในพรอมต์หรือไม่
ให้คะแนนการอ้างอิงข้อมูล
แม้มีบริบทที่ดี โมเดลก็อาจแต่งรายละเอียดขึ้นมา ความสอดคล้องกับแหล่งข้อมูลตรวจสอบว่าข้อความอ้างทุกข้อในคำตอบมีข้อความที่ค้นคืนมารองรับ
ให้คะแนนความเกี่ยวข้อง
สุดท้าย ให้ตัดสินว่าคำตอบตอบโจทย์คำถามที่ถามหรือไม่ ความเกี่ยวข้องของคำตอบช่วยเติมภาพให้สมบูรณ์ นอกเหนือจากการมีแหล่งข้อมูลรองรับเพียงอย่างเดียว
เฟรมเวิร์กอย่าง RAGAS
RAGAS คำนวณความสอดคล้องกับแหล่งข้อมูล การเรียกคืนบริบท และความเกี่ยวข้องจากกรณีของคุณ เฟรมเวิร์กช่วยเปลี่ยนคุณภาพ RAG ที่วัดได้ไม่ชัดเจนให้เป็นตัวเลขที่ติดตามตามเวลาได้
from ragas import evaluate
result = evaluate(dataset, metrics=[faithfulness, context_recall])ตรวจสอบอย่างรวดเร็ว
บอต RAG ของคุณตอบอย่างมั่นใจแต่แต่งข้อเท็จจริงที่ไม่มีอยู่ในเอกสารขึ้นมา เมตริกใดจะตรวจพบปัญหานี้
สรุปทบทวน
คุณเพิ่มระบบป้องกันให้กับอินพุตและเอาต์พุต และเรียนรู้การประเมิน RAG ด้วยความสอดคล้องกับแหล่งข้อมูล การเรียกคืนบริบท และความเกี่ยวข้อง ปลอดภัยและมีแหล่งข้อมูลรองรับ คุณทำได้แล้ว! 🎉
คำถามที่พบบ่อย
บทเรียน “เกราะป้องกันและการประเมิน RAG” ฟรีหรือไม่
ใช่ — ข้อความเต็มของ “เกราะป้องกันและการประเมิน RAG” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส MLOps Academy ให้อัปเกรดเป็น CoddyKit PRO คอร์ส MLOps Academy มีบทเรียนทั้งหมด 4 บทเรียน
คุณจะเรียนรู้อะไรในบทเรียน “เกราะป้องกันและการประเมิน RAG”
บล็อกเอาต์พุตที่ไม่เหมาะสมและวัดคุณภาพการค้นคืน คุณปฏิบัติ MLOps Academy ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน
คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน MLOps Academy หรือไม่
ไม่จำเป็นต้องมีประสบการณ์มาก่อน MLOps Academy บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน
บทเรียน “เกราะป้องกันและการประเมิน RAG” ใช้เวลานานแค่ไหน
บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย
ฉันเขียนและรันโค้ดในบทเรียน MLOps Academy นี้ได้ไหม
ได้ บทเรียน MLOps Academy ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ
บทเรียนทั้งหมดในหลักสูตรนี้
- LLMOps แตกต่างจาก MLOps แบบดั้งเดิมอย่างไร
- จัดเวอร์ชันพรอมต์และประเมินเอาต์พุต
- ติดตามและตรวจสอบการเรียกใช้ LLM
- เกราะป้องกันและการประเมิน RAG