เหตุใดความไม่เป็นเชิงเส้นจึงปลดล็อกพลังที่แท้จริง

ชั้นของโครงข่ายประสาทเทียมเป็นเพียงผลรวมถ่วงน้ำหนัก ซึ่งปรับขนาดและเลื่อนอินพุตของมัน โดยลำพังแล้ว การดำเนินการนี้เป็นเชิงเส้นอย่างสมบูรณ์ 📏

ประเด็นคือ การวางชั้นเชิงเส้นสองชั้นซ้อนกันก็ให้ผลเป็นชั้นเชิงเส้นอีกชั้นหนึ่ง ไม่ว่าจะวางซ้อนกันกี่ชั้น ผลลัพธ์ก็ยังคงเป็นเส้นตรงเส้นเดียว

ขั้นตอนเชิงเส้นสองขั้นรวมกันเป็นหนึ่งขั้นได้ น้ำหนักรวมก็คือผลคูณของเมทริกซ์น้ำหนักทั้งสอง ดังนั้นในกรณีนี้ความลึกจึงไม่เพิ่มประโยชน์ใด ๆ

ฟังก์ชันการกระตุ้นจะทำให้สัญญาณโค้งงอระหว่างชั้น จุดหักเล็ก ๆ นี้เองที่ป้องกันไม่ให้ชั้นต่าง ๆ รวมกันเป็นชั้นเดียว

เมื่อแทรกความไม่เป็นเชิงเส้นเข้าไป แต่ละชั้นจะปรับรูปร่างข้อมูลได้แตกต่างกัน ตอนนี้ความลึกจึงเพิ่มความสามารถได้จริง แทนที่จะทำแผนที่แบบเดิมซ้ำไปมา

เมื่อมีความไม่เป็นเชิงเส้น โครงข่ายของคุณสามารถสร้างขอบเขตการตัดสินใจแบบโค้งได้ แต่แบบจำลองเชิงเส้นธรรมดาจะวาดได้เพียงเส้นแบ่งตรง ๆ เท่านั้น

นิวรอนจำนวนมากพอร่วมกับความไม่เป็นเชิงเส้น สามารถประมาณฟังก์ชันได้แทบทุกชนิด นี่คือแนวคิดการประมาณแบบสากลอันโด่งดัง ✨

คุณวางฟังก์ชันการกระตุ้นไว้ถัดจากแต่ละชั้นเชิงเส้น ภายในกระบวนการส่งต่อไปข้างหน้า ฟังก์ชันนี้จะแปลงเอาต์พุตของชั้นก่อนที่ชั้นถัดไปจะเห็น

รูปภาพ เสียงพูด และภาษาล้วนเป็นรูปแบบที่ไม่เป็นเชิงเส้นอย่างลึกซึ้ง มีเพียงโครงข่ายที่สามารถทำให้รูปแบบโค้งงอได้เท่านั้นที่หวังจะจำลองสิ่งเหล่านี้ได้ดี

หากลืมใส่ฟังก์ชันการกระตุ้น แบบจำลองเชิงลึกสุดหรูของคุณจะกลายเป็นการถดถอยเชิงเส้นเพียงหนึ่งเดียวอย่างเงียบ ๆ โดยปลอมตัวมา ความลึกทั้งหมดจึงสูญเปล่า

โดยทั่วไปคุณจะใช้ฟังก์ชันการกระตุ้นแบบเดียวกันหลังชั้นซ่อนทุกชั้น จากนั้นเลือกฟังก์ชันพิเศษที่เอาต์พุตให้เหมาะกับงานของคุณ

ลองนึกดูว่าจะเกิดอะไรขึ้นหากไม่มีฟังก์ชันการกระตุ้นเลย

ชั้นเชิงเส้นที่วางซ้อนกันยังคงเป็นเชิงเส้น จึงไม่สามารถจำลองเส้นโค้งได้ การแทรกความไม่เป็นเชิงเส้นจะปลดล็อกความลึกและทำให้โครงข่ายเรียนรู้รูปแบบที่ซับซ้อนในโลกจริงได้ 🎯