กฎลูกโซ่ทีละชั้น

โครงข่ายประสาทเทียมก็คือฟังก์ชันที่ห่ออยู่ภายในฟังก์ชันอื่น โดยแต่ละชั้นจะส่งผลลัพธ์ของตนให้ชั้นถัดไป การแพร่ย้อนกลับต้องใช้อนุพันธ์ของโครงสร้างทั้งหมดนี้

กฎลูกโซ่กล่าวว่าอนุพันธ์ของฟังก์ชันที่ซ้อนกันเกิดจากการคูณอนุพันธ์ของแต่ละส่วนเข้าด้วยกัน ข้อเท็จจริงเพียงข้อนี้คือกลไกเบื้องหลังการแพร่ย้อนกลับทั้งหมด ⛓️

สมมติว่า z ขึ้นอยู่กับ y และ y ขึ้นอยู่กับ x หากต้องการดูว่า z เปลี่ยนแปลงตาม x อย่างไร ให้คูณ dz/dy ด้วย dy/dx แต่ละลิงก์จะส่งค่าความชันของตนต่อไป

ทุกชั้นคือลิงก์หนึ่งลิงก์ ค่าความสูญเสียอยู่ปลายด้านไกล ส่วนอินพุตอยู่ปลายด้านใกล้ และเกรเดียนต์จะไหลย้อนกลับทีละลิงก์ในรูปของการคูณต่อเนื่อง

การแพร่ย้อนกลับเริ่มต้นที่ค่าความสูญเสียแล้วถามว่า ค่าความสูญเสียจะเปลี่ยนอย่างไรหากขยับเอาต์พุตของชั้นนี้เล็กน้อย คำตอบนั้นคืออนุพันธ์ตัวแรกในลูกโซ่

แต่ละชั้นจะรับเกรเดียนต์จากชั้นด้านบน คูณด้วยอนุพันธ์เฉพาะที่ของตน แล้วส่งผลลัพธ์ให้ชั้นด้านล่าง

ชั้นหนึ่ง ๆ จำเป็นต้องรู้เพียงอนุพันธ์เฉพาะที่ของตนเองเท่านั้น นั่นคือเอาต์พุตเปลี่ยนแปลงอย่างไรตามอินพุตและน้ำหนัก ชั้นนั้นไม่จำเป็นต้องรู้จักโครงข่ายทั้งหมดในคราวเดียว

ในแต่ละชั้น เกรเดียนต์ขาเข้ายังบอกด้วยว่าค่าความสูญเสียเปลี่ยนแปลงอย่างไรตามน้ำหนักของชั้นนั้น ซึ่งเป็นสิ่งที่ตัวปรับเหมาะจะใช้ปรับค่า

คุณต้องคูณอนุพันธ์ในลำดับย้อนกลับจากค่าความสูญเสียไปยังอินพุต การเดินหน้าใช้คำนวณค่า ส่วนการเดินย้อนกลับใช้คำนวณว่าจะปรับปรุงค่าเหล่านั้นอย่างไร

เพิ่มชั้นอีกสิบชั้นก็ไม่มีอะไรเปลี่ยน คุณเพียงคูณอนุพันธ์เฉพาะที่เพิ่มอีกสิบตัวเข้าไปในลูกโซ่ ความลึกไม่ใช่ปัญหาสำหรับกฎลูกโซ่

การแพร่ย้อนกลับคือการใช้กฎลูกโซ่แบบทีละชั้นจากค่าความสูญเสียย้อนกลับไปยังอินพุต โดยคูณความชันเฉพาะที่เพื่อหาเกรเดียนต์ของน้ำหนักแต่ละตัว

มาทบทวนกฎสำคัญกัน

โครงข่ายคือฟังก์ชันที่ซ้อนกัน ดังนั้นอนุพันธ์ของมันจึงเป็นลูกโซ่ของความชันเฉพาะที่ที่นำมาคูณกัน การแพร่ย้อนกลับจะเดินไปตามลูกโซ่นี้จากค่าความสูญเสียย้อนกลับไปยังอินพุต ⛓️