ฟังก์ชันกระตุ้น

ฟังก์ชันกระตุ้นเป็นส่วนสำคัญของโครงข่ายประสาทเทียม โดยจะกำหนดว่าเซลล์ประสาทควรถูกกระตุ้นหรือไม่ตามข้อมูลนำเข้าที่ได้รับ

หากไม่มีฟังก์ชันกระตุ้น โครงข่ายประสาทเทียมจะทำงานเสมือนแบบจำลองเชิงเส้น ซึ่งจำกัดความสามารถในการเรียนรู้รูปแบบที่ซับซ้อน

ประเภทของฟังก์ชันกระตุ้น

ฟังก์ชันกระตุ้นที่ใช้กันทั่วไป ได้แก่:

• ซิกมอยด์: ให้ผลลัพธ์ระหว่าง 0 ถึง 1
• ReLU (หน่วยเชิงเส้นปรับแก้): ให้ข้อมูลนำเข้าเป็นผลลัพธ์หากมีค่าเป็นบวก มิฉะนั้นจะให้ค่า 0
• ซอฟต์แมกซ์: แปลงผลลัพธ์เป็นความน่าจะเป็นสำหรับงานจำแนกประเภท

ฟังก์ชันซิกมอยด์

ฟังก์ชันซิกมอยด์จะแปลงค่าข้อมูลนำเข้าใด ๆ ให้อยู่ในช่วงระหว่าง 0 ถึง 1 จึงเหมาะสำหรับการจำแนกประเภทแบบสองกลุ่ม

สูตร:

σ(x) = 1 / (1 + e^(-x))

ฟังก์ชันนี้จะบีบค่าข้อมูลนำเข้าที่มีขนาดใหญ่ และให้ผลลัพธ์ที่ใกล้เคียง 0 หรือ 1

ฟังก์ชัน ReLU

ฟังก์ชัน ReLU (หน่วยเชิงเส้นปรับแก้) นิยามไว้ดังนี้:

ReLU(x) = max(0, x)

ฟังก์ชันนี้ให้ค่า 0 สำหรับข้อมูลนำเข้าที่เป็นลบ และให้ค่าข้อมูลนำเข้าเดิมสำหรับข้อมูลนำเข้าที่เป็นบวก ReLU มีประสิทธิภาพด้านการคำนวณสูง และช่วยแก้ปัญหาเกรเดียนต์หายไป

ฟังก์ชันซอฟต์แมกซ์

ฟังก์ชันซอฟต์แมกซ์ใช้ในชั้นผลลัพธ์สำหรับการจำแนกประเภทหลายกลุ่ม โดยจะแปลงคะแนนดิบเป็นความน่าจะเป็น:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

ค่าผลลัพธ์ทั้งหมดจะถูกปรับมาตรฐานให้รวมกันได้ 1

การเลือกฟังก์ชันกระตุ้นที่เหมาะสม

การเลือกฟังก์ชันกระตุ้นขึ้นอยู่กับงานที่ทำ:

• ซิกมอยด์: สำหรับการจำแนกประเภทแบบสองกลุ่ม
• ReLU: สำหรับชั้นซ่อนในโครงข่ายเชิงลึก
• ซอฟต์แมกซ์: สำหรับปัญหาการจำแนกประเภทหลายกลุ่ม

ข้อดีของฟังก์ชันกระตุ้น

ฟังก์ชันกระตุ้นช่วยให้โครงข่ายประสาทเทียมสามารถ:

• เรียนรู้รูปแบบที่ซับซ้อนและไม่เป็นเชิงเส้น
• แยกแยะข้อมูลนำเข้าได้อย่างมีประสิทธิภาพ
• ปรับให้เข้ากับข้อมูลและงานประเภทต่าง ๆ

ความท้าทายของฟังก์ชันกระตุ้น

ปัญหาบางประการ ได้แก่:

• ซิกมอยด์: อาจทำให้เกิดเกรเดียนต์หายไประหว่างการฝึก
• ReLU: อาจทำให้เกิดเซลล์ประสาทที่ตายแล้ว ซึ่งเซลล์ประสาทบางส่วนจะหยุดเรียนรู้
• ซอฟต์แมกซ์: มีค่าใช้จ่ายด้านการคำนวณสูงเมื่อผลลัพธ์มีจำนวนมาก

สรุปและขั้นตอนถัดไป

ในบทเรียนนี้ เราได้:

• ศึกษาฟังก์ชันกระตุ้น เช่น ซิกมอยด์, ReLU และซอฟต์แมกซ์
• เรียนรู้บทบาทและกรณีการใช้งานของฟังก์ชันเหล่านี้ในโครงข่ายประสาทเทียม
• พูดถึงข้อดีและความท้าทายของฟังก์ชันเหล่านี้

ถัดไป เราจะสร้างโครงข่ายประสาทเทียมแบบส่งต่อไปข้างหน้าอย่างง่าย และทำความเข้าใจโครงสร้างกับการทำงานของโครงข่าย