สรุปด้วยโมเดล Seq2Seq

โมเดล seq2seq จะแปลงลำดับคำหนึ่งให้เป็นอีกลำดับหนึ่ง เมื่อป้อนบทความยาวเข้าไป โมเดลจะสร้างลำดับที่สั้นกว่า ซึ่งก็คือบทสรุปของคุณ 🔁

Seq2seq มีสองส่วน ส่วน ตัวเข้ารหัสจะอ่านและบีบอัดข้อมูลนำเข้า ส่วนตัวถอดรหัสจะเขียนข้อมูลส่งออกทีละโทเคน

เนื่องจากตัวถอดรหัสเขียนโทเคนใหม่ โมเดล seq2seq จึงเป็นแบบ สรุปความใหม่โดยธรรมชาติ โมเดลจะเรียบเรียงความหมายใหม่แทนการคัดลอก ทำให้ได้บทสรุปที่ลื่นไหล

โมเดลอย่าง BART, T5 และ Pegasus เป็นหม้อแปลงแบบ seq2seq ที่ฝึกไว้ล่วงหน้าและสร้างมาเพื่อการสรุปความ คุณสามารถใช้งานได้โดยไม่ต้องฝึกโมเดลเอง

Hugging Face รวมทุกอย่างไว้ใน กระบวนการประมวลผล การเขียนเพียงหนึ่งบรรทัดจะโหลดโมเดลและตัวตัดคำที่พร้อมสำหรับการสรุปความ

ส่งข้อความของคุณให้กระบวนการประมวลผล แล้วอ่านผลลัพธ์ โมเดลจะส่งรายการที่มี ข้อความบทสรุปที่สร้างขึ้นกลับมา

ใช้ ความยาวสูงสุดและความยาวต่ำสุดเพื่อกำหนดขอบเขตขนาดของผลลัพธ์ ขีดจำกัดที่แคบลงจะบังคับให้บทสรุปสั้นและกระชับยิ่งขึ้น

โมเดลแต่ละตัวมีขนาดข้อมูลนำเข้าสูงสุด ซึ่งมักอยู่ที่ประมาณ 1024 โทเคน เอกสารที่ยาวกว่านั้นต้องแบ่งเป็นส่วนย่อยหรือตัดให้สั้นลงก่อน

ตัวถอดรหัสอาจเลือกโทเคนถัดไปที่ดีที่สุดเพียงตัวเดียว หรือสำรวจหลายเส้นทางด้วย การค้นหาแบบลำแสง โดยทั่วไปการใช้ลำแสงจะให้บทสรุปที่ลื่นไหลกว่า

ระบุชื่อโมเดลเพื่อแทนที่โมเดลเริ่มต้น จุดตรวจสอบอย่าง distilbart ที่ปรับแต่งสำหรับการสรุปความมีขนาดเล็กกว่าและทำงานเร็วกว่า เหมาะสำหรับการสาธิตอย่างรวดเร็ว

ผลลัพธ์จาก seq2seq เป็นข้อความที่สร้างขึ้นใหม่ จึงอาจคลาดเคลื่อนจากแหล่งข้อมูล โปรด ตรวจสอบข้อเท็จจริงสำคัญทุกครั้งก่อนเชื่อถือบทสรุปแบบสรุปความใหม่ ✅

คุณได้เรียกใช้ตัวสรุปแบบ seq2seq ด้วย ไปป์ไลน์ ของ Hugging Face ปรับความยาว และเรียนรู้วิธีเคารพข้อจำกัดของอินพุตพร้อมตรวจสอบเอาต์พุตแล้ว 🎯