SGD พร้อมโมเมนตัม

SGD แบบพื้นฐานปรับขั้นโดยใช้เฉพาะเกรเดียนต์ปัจจุบัน การอัปเดตทุกครั้งเริ่มใหม่จากศูนย์ ดังนั้นความชันที่มีสัญญาณรบกวนจึงทำให้มันแกว่งและค่อย ๆ เคลื่อนไปยังจุดต่ำสุด

โมเมนตัมทำให้ SGD มีความจำ โดยเก็บค่าเฉลี่ยสะสมของเกรเดียนต์ในอดีตและเคลื่อนไปตามทิศทางนั้น คล้ายลูกบอลที่ยิ่งกลิ้งลงเนินก็ยิ่งเร็วขึ้น

โมเมนตัมจะติดตาม ความเร็วที่ผสานความเร็วเดิมเข้ากับเกรเดียนต์ใหม่ จากนั้นน้ำหนักจะเคลื่อนที่ด้วยความเร็วที่ปรับให้ราบรื่นนี้ในแต่ละขั้น

ค่าสัมประสิทธิ์โมเมนตัม beta กำหนดว่าส่วนจากขั้นก่อนหน้าจะมีผลมากเพียงใด ค่าที่ใช้กันทั่วไปคือ 0.9 ซึ่งหมายความว่าความเร็วส่วนใหญ่จะถูกส่งต่อไป

เนื่องจากโมเมนตัมหาค่าเฉลี่ยจากเกรเดียนต์หลายค่า สัญญาณรบกวนแบบสุ่มในชุดข้อมูลย่อยใดชุดข้อมูลย่อยหนึ่งจึงมักหักล้างกัน เส้นทางไปยังจุดต่ำสุดจะ ราบรื่นและมั่นคงขึ้น

ความเร็วที่สะสมไว้ช่วยให้อัลกอริทึมปรับเหมาะเคลื่อนผ่านแอ่งเล็ก ๆ และช่วงราบที่อาจทำให้ SGD ธรรมดา หยุดชะงัก ลูกบอลจึงไม่หยุดที่ก้อนกรวดทุกก้อน

คุณไม่จำเป็นต้องเขียนสิ่งนี้ด้วยตนเอง เพียงส่ง momentum ให้ตัวปรับเหมาะ SGD ที่มีมาให้ แล้ว PyTorch จะติดตามความเร็วให้คุณ

รูปแบบที่ละเอียดขึ้นอย่างโมเมนตัมแบบ Nesterov จะดูทิศทางที่ความเร็วกำลังมุ่งไปก่อนวัดเกรเดียนต์ จึงมักลู่เข้าได้เร็วขึ้นเล็กน้อย

ความเร็วที่มากเกินไปอาจพาคุณเลยก้นหุบเขา หากค่าความสูญเสียเด้งขึ้นหรือลู่ออก ให้ลด อัตราการเรียนรู้ หรือลดโมเมนตัมลงเล็กน้อย

แม้จะมีตัวปรับเหมาะที่ซับซ้อนมากมาย SGD ที่มีโมเมนตัมก็ยังเป็นค่าพื้นฐานที่แข็งแกร่ง และมักเหมารวมได้ดีเยี่ยมกับแบบจำลองด้านการมองเห็น

ประโยชน์นี้เห็นได้จริง: โดยทั่วไปโมเมนตัมจะไปถึงจุดต่ำสุดที่ดีได้ใน ยุคการฝึกที่น้อยกว่า SGD ธรรมดา และแกว่งซ้ายขวาน้อยกว่าระหว่างทาง

โมเมนตัมทำให้ SGD มีความเร็วที่ผสานเกรเดียนต์ในอดีต ช่วยลดสัญญาณรบกวนและเคลื่อนผ่านเนินเล็ก ๆ ตั้งค่าโมเมนตัมใกล้ 0.9 เพื่อให้ลงสู่จุดต่ำสุดได้เร็วและมั่นคงขึ้น 🏂