ฟังก์ชันกระตุ้น

ฟังก์ชันกระตุ้นเป็นส่วนสำคัญของโครงข่ายประสาทเทียม โดยกำหนดว่านิวรอนควรถูกกระตุ้นหรือไม่ตามอินพุตที่ได้รับ

หากไม่มีฟังก์ชันกระตุ้น โครงข่ายประสาทเทียมจะทำงานเสมือนแบบจำลองเชิงเส้น ซึ่งจำกัดความสามารถในการเรียนรู้รูปแบบที่ซับซ้อน

ประเภทของฟังก์ชันกระตุ้น

ฟังก์ชันกระตุ้นที่พบได้ทั่วไป ได้แก่:

• ซิกมอยด์: ให้ค่าผลลัพธ์ระหว่าง 0 ถึง 1
• ReLU (หน่วยเชิงเส้นปรับแก้): ให้ค่าอินพุตหากเป็นค่าบวก มิฉะนั้นให้ค่า 0
• ซอฟต์แมกซ์: แปลงเอาต์พุตให้เป็นความน่าจะเป็นสำหรับงานจำแนกประเภท

ฟังก์ชันซิกมอยด์

ฟังก์ชันซิกมอยด์จะแปลงค่าอินพุตใด ๆ ให้อยู่ในช่วงระหว่าง 0 ถึง 1 จึงเหมาะสำหรับการจำแนกประเภทสองกลุ่ม

สูตร:

σ(x) = 1 / (1 + e^(-x))

ฟังก์ชันนี้จะบีบค่าอินพุตขนาดใหญ่ และให้ค่าผลลัพธ์ที่เข้าใกล้ 0 หรือ 1

ฟังก์ชัน ReLU

ฟังก์ชัน ReLU (หน่วยเชิงเส้นปรับแก้) นิยามไว้ดังนี้:

ReLU(x) = max(0, x)

ฟังก์ชันนี้ให้ค่า 0 สำหรับอินพุตที่เป็นลบ และให้ค่าอินพุตเดิมสำหรับอินพุตที่เป็นบวก ReLU มีประสิทธิภาพด้านการคำนวณสูง และช่วยแก้ปัญหาความชันที่หายไป

ฟังก์ชันซอฟต์แมกซ์

ฟังก์ชันซอฟต์แมกซ์ใช้ในชั้นผลลัพธ์สำหรับการจำแนกประเภทหลายกลุ่ม โดยจะแปลงคะแนนดิบให้เป็นความน่าจะเป็น:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

ค่าผลลัพธ์ทั้งหมดจะถูกปรับให้อยู่ในรูปมาตรฐาน โดยมีผลรวมเท่ากับ 1

การเลือกฟังก์ชันกระตุ้นที่เหมาะสม

การเลือกฟังก์ชันกระตุ้นขึ้นอยู่กับงาน:

• ซิกมอยด์: สำหรับการจำแนกประเภทสองกลุ่ม
• ReLU: สำหรับชั้นซ่อนเร้นในโครงข่ายเชิงลึก
• ซอฟต์แมกซ์: สำหรับปัญหาการจำแนกประเภทหลายกลุ่ม

ข้อดีของฟังก์ชันกระตุ้น

ฟังก์ชันกระตุ้นช่วยให้โครงข่ายประสาทเทียมสามารถ:

• เรียนรู้รูปแบบที่ซับซ้อนและไม่เป็นเชิงเส้น
• แยกแยะอินพุตได้อย่างมีประสิทธิภาพ
• ปรับให้เข้ากับข้อมูลและงานหลากหลายประเภท

ความท้าทายของฟังก์ชันกระตุ้น

ปัญหาบางประการมีดังนี้:

• ซิกมอยด์: อาจทำให้ความชันหายไประหว่างการฝึก
• ReLU: อาจทำให้เกิด 'นิวรอนตาย' ซึ่งนิวรอนบางตัวจะหยุดเรียนรู้
• ซอฟต์แมกซ์: มีค่าใช้จ่ายในการคำนวณสูงเมื่อเอาต์พุตมีขนาดใหญ่

สรุปและขั้นตอนถัดไป

ในบทเรียนนี้ เราได้:

• สำรวจฟังก์ชันกระตุ้น เช่น ซิกมอยด์, ReLU และซอฟต์แมกซ์
• เรียนรู้บทบาทและกรณีการใช้งานของฟังก์ชันเหล่านี้ในโครงข่ายประสาทเทียม
• พูดคุยเกี่ยวกับข้อดีและความท้าทายของฟังก์ชันเหล่านี้

ถัดไป เราจะสร้างโครงข่ายประสาทแบบส่งต่อไปข้างหน้าอย่างง่าย และทำความเข้าใจโครงสร้างกับการทำงานของโครงข่าย