ชั้นแบบสองทิศทางและซ้อนกัน

LSTM แบบพื้นฐานอ่านจากซ้ายไปขวา จึงรู้เฉพาะอดีต แต่ความหมายมักขึ้นอยู่กับคำที่มา ภายหลังด้วย 🔄

LSTM แบบ สองทิศทางทำงานสองรอบ: รอบหนึ่งไปข้างหน้าและอีกรอบย้อนกลับ ทำให้แต่ละคำเห็นบริบทจากทั้งสองด้าน

เอาต์พุตจากทิศทางไปข้างหน้าและย้อนกลับจะถูกรวมกัน โดยทั่วไปคือ นำมาต่อกัน ให้เป็นตัวแทนที่มีรายละเอียดมากขึ้นสำหรับแต่ละขั้นเวลา

บริบทในอนาคตช่วยคลายความกำกวม การรู้คำที่อยู่หลังชื่อช่วยตัดสินได้ว่า Apple หมายถึงผลไม้หรือบริษัท

คุณครอบชั้นเกิดซ้ำใด ๆ เพื่อทำให้ทำงานสองทิศทางได้ ตัวครอบ Bidirectional จะจัดการทั้งสองรอบให้คุณโดยอัตโนมัติ

คุณยังสามารถ วางซ้อนชั้นต่าง ๆ ได้ โดยส่งเอาต์พุตของ LSTM หนึ่งตัวเข้าไปยังอีกตัว เพื่อให้เครือข่ายเรียนรู้รูปแบบลำดับระดับสูงขึ้น

เพื่อวางซ้อนกัน LSTM ชั้นล่างต้องส่งออกทุกขั้น ไม่ใช่แค่ขั้นสุดท้าย ให้ตั้งค่า return_sequences เป็น true เพื่อให้ชั้นถัดไปมีอินพุต

LSTM ตัวแรกส่งคืนลำดับ ส่วนตัวที่สองอ่านลำดับเหล่านั้นและส่งคืนเวกเตอร์ สรุปหนึ่งตัวสำหรับการจัดประเภท

โมเดลที่ลึกและมีสองทิศทางเก็บข้อมูลได้มากขึ้น แต่มีพารามิเตอร์มากขึ้นและอาจ เรียนรู้เกินพอดี ใช้ dropout และข้อมูลให้เพียงพอ

คุณสามารถวางชั้นแบบ สองทิศทางซ้อนกันเพื่อสร้างโมเดลที่ทรงพลัง: บริบทกว้างขึ้นพร้อมความลึก ซึ่งพบได้บ่อยในระบบประมวลผลภาษาธรรมชาติจริงจัง

ไม่ใช่ทุกงานต้องการความลึก เริ่มจากขนาดเล็ก แล้วค่อยเพิ่ม ชั้นหรือทิศทางก็ต่อเมื่อคะแนนการตรวจสอบดีขึ้นจริง

ยืนยันว่าการวาง LSTM ซ้อนกันทำงานอย่างไร

ใช้แบบ สองทิศทางเพื่ออ่านได้ทั้งสองทาง และ วางซ้อนชั้นเพื่อเพิ่มความลึก ทั้งสองอย่างเพิ่มพลังให้โมเดล ดังนั้นจึงควรป้องกันการเรียนรู้เกินพอดีด้วย dropout ✅