เมตริกสำหรับประเมินพรอมป์

ยินดีต้อนรับ ในวิศวกรรมพรอมป์ต์ การทำให้ LLM ตอบสนองได้เป็นเพียงขั้นตอนแรกเท่านั้น ความท้าทายที่แท้จริงคือการทำให้แน่ใจว่าคำตอบมี คุณภาพสูง และตรงตามความต้องการเฉพาะของคุณ

เราจะวัดอย่างเป็นกลางได้อย่างไรว่าผลลัพธ์ของ LLM ดีหรือไม่ นี่คือจุดที่ตัวชี้วัดการประเมินเข้ามามีบทบาท

ลองจินตนาการว่าคุณกำลังทดลองใช้พรอมป์ต์ต่าง ๆ หากไม่มีมาตรฐานที่ชัดเจน คุณก็ต้องอาศัยความรู้สึกส่วนตัว ซึ่งเป็นเรื่องอัตวิสัยและนำไปใช้ในวงกว้างได้ยาก

• การเปรียบเทียบอย่างสม่ำเสมอ: ตัวชี้วัดช่วยให้คุณเปรียบเทียบพรอมป์ต์แต่ละฉบับได้อย่างเป็นธรรม
• ติดตามความคืบหน้า: ตรวจสอบว่าการปรับปรุงพรอมป์ต์ช่วยให้ผลลัพธ์ดีขึ้นจริงหรือไม่
• ระบุปัญหา: ชี้จุดเฉพาะที่ LLM ทำงานได้ต่ำกว่าที่คาดหวัง

โดยทั่วไป ตัวชี้วัดการประเมินแบ่งออกเป็นสองหมวดหมู่หลัก:

• ตัวชี้วัดเชิงปริมาณ: คะแนนที่วัดได้และเป็นกลาง เช่น ตัวเลข เปอร์เซ็นต์ หรือจำนวนที่นับได้
• ตัวชี้วัดเชิงคุณภาพ: การตัดสินเชิงอัตวิสัยของมนุษย์ ซึ่งประเมินแง่มุมต่าง ๆ เช่น รูปแบบ น้ำเสียง หรือประโยชน์โดยรวม

ตัวชี้วัดทั้งสองประเภทมีความสำคัญต่อการมองเห็นภาพรวมของประสิทธิภาพอย่างครบถ้วน

หนึ่งในตัวชี้วัดเชิงปริมาณที่สำคัญที่สุดคือ ความถูกต้อง ตัวชี้วัดนี้ประเมินว่าผลลัพธ์ของ LLM ถูกต้องตามข้อเท็จจริงและปราศจากข้อผิดพลาดหรือ ‘การสร้างข้อมูลหลอน’ หรือไม่

• กรณีใช้งาน: จำเป็นอย่างยิ่งสำหรับงานต่าง ๆ เช่น การสรุปเอกสาร การตอบคำถามเกี่ยวกับข้อเท็จจริง หรือการสร้างโค้ด
• การวัดผล: มักเปรียบเทียบคำตอบของ LLM กับ ‘ค่าความจริงอ้างอิง’ ที่ทราบอยู่แล้วหรือข้อมูลที่ผ่านการตรวจสอบแล้ว

นอกเหนือจากความถูกต้องแล้ว เรายังต้องพิจารณาด้วยว่าคำตอบของ LLM เกี่ยวข้อง และ ครบถ้วนหรือไม่:

• ความเกี่ยวข้อง: ผลลัพธ์ตอบเจตนาของพรอมป์ต์โดยตรงหรือไม่ ตรงประเด็นและมุ่งเน้นหรือไม่
• ความครบถ้วน: ผลลัพธ์ให้ข้อมูลที่จำเป็นทั้งหมดตามที่พรอมป์ต์ร้องขอหรือไม่ มีรายละเอียดสำคัญใดตกหล่นหรือไม่

ตัวชี้วัดเหล่านี้ประเมินความอ่านง่ายและลำดับความคิดที่เป็นเหตุเป็นผลของข้อความที่สร้างขึ้น:

• ความสอดคล้อง: ข้อความมีเหตุผลเป็นลำดับหรือไม่ แนวคิดต่าง ๆ เชื่อมโยงกันอย่างราบรื่นและนำเสนออย่างเป็นเหตุเป็นผลหรือไม่
• ความลื่นไหล: ภาษาเป็นธรรมชาติ ถูกต้องตามหลักไวยากรณ์ และอ่านง่ายหรือไม่ ฟังดูเหมือนเขียนโดยมนุษย์หรือไม่

โดยมากแล้ว ผู้ประเมินที่เป็นมนุษย์จะเป็นผู้ตัดสินแง่มุมเหล่านี้ได้ดีที่สุด

เมื่อคุณขอให้ LLM ทำหน้าที่เป็น ‘ผู้ช่วยที่เป็นมิตร’ หรือ ‘ผู้เชี่ยวชาญด้านกฎหมายที่เป็นทางการ’ คุณกำลังระบุน้ำเสียงและรูปแบบ ตัวชี้วัดสามารถประเมินได้ว่า LLM รักษาลักษณะเหล่านี้ไว้หรือไม่:

• น้ำเสียง: ลักษณะทางอารมณ์ (เช่น เป็นทางการ เป็นกันเอง หรือกระตือรือร้น) สอดคล้องกับพรอมป์ต์หรือไม่
• รูปแบบ: งานเขียนเป็นไปตามข้อกำหนดเฉพาะด้านการจัดรูปแบบ คำศัพท์ หรือโครงสร้างหรือไม่

ส่วนสำคัญของการพัฒนาปัญญาประดิษฐ์อย่างมีความรับผิดชอบคือการประเมินผลลัพธ์เพื่อค้นหาอันตรายที่อาจเกิดขึ้น:

• ความปลอดภัย: ผลลัพธ์หลีกเลี่ยงการสร้างเนื้อหาที่เป็นอันตราย ล่วงละเมิด หรือไม่เหมาะสมหรือไม่
• อคติ: ผลลัพธ์ตอกย้ำภาพเหมารวม แสดงการปฏิบัติอย่างไม่เป็นธรรม หรือสะท้อนอคติในสังคมหรือไม่

แง่มุมเหล่านี้ต้องได้รับการใส่ใจอย่างรอบคอบ และมักต้องอาศัยทั้งการตรวจสอบโดยมนุษย์และเครื่องมือตรวจจับเฉพาะทางร่วมกัน

เราจะนำตัวชี้วัดเหล่านี้ไปใช้จริงได้อย่างไร

• การประเมินโดยมนุษย์: เป็นมาตรฐานอ้างอิงสูงสุดสำหรับแง่มุมเชิงคุณภาพ ความละเอียดอ่อน และความปลอดภัย แต่อาจใช้เวลานานและมีค่าใช้จ่ายสูง
• ตัวชี้วัดอัตโนมัติ: รวดเร็วและรองรับการขยายขนาดได้ดีสำหรับการตรวจสอบเชิงปริมาณ (เช่น การเปรียบเทียบความคล้ายคลึงของข้อความหรือการนับคำสำคัญ) แต่อาจพลาดข้อผิดพลาดที่ละเอียดอ่อนได้

การผสมผสานทั้งสองแนวทางมักให้การประเมินที่รัดกุมที่สุด

เมื่อประเมินผลลัพธ์ของ LLM ตัวชี้วัดแต่ละประเภทมีจุดประสงค์แตกต่างกัน ลองพิจารณาสถานการณ์ต่อไปนี้:

ทำได้ดีมาก คุณได้เรียนรู้เกี่ยวกับความสำคัญของการประเมินผลลัพธ์ของ LLM ด้วยตัวชี้วัดที่เป็นกลางแล้ว

• เราได้สำรวจว่าเหตุใดการวัดผลอย่างเป็นกลางจึงมีความสำคัญต่อวิศวกรรมพรอมป์ต์
• ตัวชี้วัดอาจเป็นเชิงปริมาณ (เช่น ความถูกต้อง ความเกี่ยวข้อง และความครบถ้วน) หรือเชิงคุณภาพ (เช่น ความสอดคล้อง ความลื่นไหล น้ำเสียง รูปแบบ ความปลอดภัย และอคติ)
• แนวทางที่สมดุล ซึ่งมักผสานการประเมินโดยมนุษย์และการประเมินอัตโนมัติ จะนำไปสู่วิศวกรรมพรอมป์ต์ที่แข็งแกร่ง