Softmax สำหรับความน่าจะเป็น

ชั้นสุดท้ายของตัวจำแนกจะแสดงคะแนนดิบออกมา หนึ่งค่าต่อหนึ่งคลาส ตัวเลขที่ไม่มีขอบเขตเหล่านี้เรียกว่า ลอจิตส์ และอ่านทำความเข้าใจโดยตรงได้ยาก 🔢

ซอฟต์แมกซ์แปลงเวกเตอร์ของลอจิตส์ให้เป็นการแจกแจงความน่าจะเป็นที่ชัดเจนครบทุกคลาส ตอนนี้คะแนนแต่ละค่าจึงกลายเป็นโอกาส

ซอฟต์แมกซ์รับรองสองอย่าง: เอาต์พุตทุกค่าจะอยู่ระหว่าง 0 ถึง 1 และเอาต์พุตทั้งหมดจะรวมกันได้หนึ่ง ซึ่งตรงกับสิ่งที่การแจกแจงต้องการพอดี

ซอฟต์แมกซ์ยกกำลังลอจิตส์แต่ละค่า แล้วหารด้วยผลรวมทั้งหมด การยกกำลังทำให้ลอจิตส์ที่มีค่ามากกว่าครองสัดส่วนมากขึ้น จึงทำให้ผู้ชนะเด่นชัดขึ้น

ซอฟต์แมกซ์สนใจช่องว่างระหว่างลอจิตส์ ไม่ใช่ขนาดดิบของลอจิตส์ การบวกค่าคงที่เดียวกันให้ลอจิตส์ทุกค่าจะไม่เปลี่ยนความน่าจะเป็น

ใช้ซิกมอยด์สำหรับเอาต์พุตแบบใช่หรือไม่ใช่เพียงค่าเดียว ใช้ซอฟต์แมกซ์เมื่อคลาสต่าง ๆ แข่งขันกันและต้องมีเพียงหนึ่งคลาสจากหลายคลาสเป็นผู้ชนะ

หากต้องการคลาสที่ทำนายได้ ให้หา argmax ของเอาต์พุตซอฟต์แมกซ์ ดัชนีนั้นคือคลาสที่มีความน่าจะเป็นสูงสุด

กำหนด มิติ ให้ถูกต้องเสมอ เพื่อให้ซอฟต์แมกซ์ปรับมาตรฐานข้ามคลาส ไม่ใช่ข้ามชุดข้อมูล การเลือกแกนผิดจะทำให้ความน่าจะเป็นเสียหายโดยไม่แสดงข้อผิดพลาดอย่างชัดเจน

ระหว่างการฝึก โดยทั่วไปคุณไม่ต้องใช้ซอฟต์แมกซ์ด้วยตนเอง ฟังก์ชันการสูญเสียแบบครอสเอนโทรปีต้องการ ลอจิตส์ ดิบและจะจัดการขั้นตอนนี้ภายใน

การรวมซอฟต์แมกซ์กับลอการิทึมไว้ในฟังก์ชันเดียวมีความเสถียรทางตัวเลขมากกว่า การทำทั้งสองขั้นตอนด้วยตนเองอาจทำให้ค่าเกินขอบเขตหรือสูญเสียความแม่นยำ

การหารลอจิตส์ด้วยอุณหภูมิก่อนใช้ซอฟต์แมกซ์จะควบคุมระดับความมั่นใจ ค่าต่ำทำให้จุดสูงสุดคมชัดขึ้น ส่วนค่าสูงทำให้เส้นโค้งแบนลง

ซอฟต์แมกซ์แปลงลอจิตส์เป็นความน่าจะเป็นที่รวมกันได้หนึ่ง จึงเหมาะอย่างยิ่งกับเอาต์พุตแบบหลายคลาส แต่ระหว่างการฝึก ควรปล่อยให้การสูญเสียแบบครอสเอนโทรปีจัดการขั้นตอนนี้ 🏁