ข้อแลกเปลี่ยนด้านเสถียรภาพเชิงตัวเลข

คณิตศาสตร์บนแกน Tensor ที่ใช้ความละเอียดต่ำทำงานได้เร็ว แต่บิตที่น้อยลงหมายถึงข้อผิดพลาดจากการปัดเศษ เสถียรภาพเชิงตัวเลขคือศิลปะของการรักษาผลลัพธ์ให้เชื่อถือได้ ⚖️

ค่าแต่ละค่าที่มีความละเอียดต่ำจะถูกปัดไปเป็นจำนวนที่แทนค่าได้ใกล้ที่สุด ข้อผิดพลาดจากการปัดเศษเล็ก ๆ นี้ไม่เป็นอันตรายเมื่อเกิดครั้งเดียว แต่อาจสะสมเมื่อผ่านหลายขั้นตอน

ช่วงค่าที่แคบของ FP16 ทำให้ตัวเลขขนาดเล็กกลายเป็นศูนย์ ซึ่งเรียกว่าอันเดอร์โฟลว์ เกรเดียนต์และน้ำหนักขนาดเล็กอาจหายไปโดยสิ้นเชิงระหว่างการฝึก

ช่วงค่าที่แคบเช่นเดียวกันทำให้เกิดโอเวอร์โฟลว์ คือค่าขนาดใหญ่กลายเป็นอนันต์ ผลรวมที่ผิดพลาดเพียงครั้งเดียวอาจทำให้ทุกอย่างที่ประมวลผลต่อจากนั้นเสียหาย

วิธีแก้ไขที่ใช้กันทั่วไปคือ การปรับสเกลการสูญเสีย: คูณค่าให้ใหญ่ขึ้นก่อนคำนวณด้วย FP16 เพื่อให้พ้นช่วงอันเดอร์โฟลว์ แล้วจึงปรับสเกลกลับลงภายหลัง

Tensor Cores สะสมค่าใน FP32 ด้วยเหตุผลที่สำคัญ ตัวตัวสะสมที่มีช่วงกว้างขึ้นนี้ช่วยป้องกันไม่ให้การบวกค่าขนาดเล็กหลายพันครั้งคลาดเคลื่อนอย่างมาก

เนื่องจาก BF16 ยังคงเลขชี้กำลังของ FP32 ไว้ จึงแทบไม่เกิดโอเวอร์โฟลว์หรืออันเดอร์โฟลว์ จุดอ่อนของมันคือความแม่นยำที่ต่ำกว่า ไม่ใช่ช่วงค่าที่แคบลง

การลบตัวเลขสองค่าที่ใกล้กันจะลบเลขหลักหน้าทิ้ง ซึ่งเรียกว่าการหักล้าง ความแม่นยำต่ำทำให้ข้อผิดพลาดที่เหลือมองเห็นได้ชัดเจนขึ้นมาก

รูปแบบที่ปลอดภัยคือความแม่นยำแบบผสม: คูณค่าจำนวนมากด้วย FP16 หรือ BF16 แต่คงการบวกสะสม ค่านอร์ม และการปรับปรุงที่ไวต่อความคลาดเคลื่อนไว้ใน FP32

อย่าสันนิษฐานว่าเคอร์เนลที่ทำงานเร็วจะถูกต้อง ให้เปรียบเทียบกับค่ามาตรฐานอ้างอิงแบบ FP32 และตรวจสอบว่าข้อผิดพลาดยังอยู่ภายในค่าความคลาดเคลื่อนที่ยอมรับได้

การตรวจสอบง่าย ๆ คือหาผลต่างสัมบูรณ์เทียบกับผลลัพธ์ที่เชื่อถือได้ แล้วเปรียบเทียบข้อผิดพลาดนี้กับค่าขีดจำกัดขนาดเล็กที่คุณเลือก

เหตุใด Tensor Cores จึงสะสมผลรวมย่อยใน FP32 แม้ค่าอินพุตจะเป็น FP16

คุณได้เรียนรู้ข้อแลกเปลี่ยนด้านความแม่นยำแล้ว: ระวังโอเวอร์โฟลว์และอันเดอร์โฟลว์ของ FP16 ใช้การปรับสเกลการสูญเสียและการสะสมใน FP32 และตรวจสอบกับค่ามาตรฐานอ้างอิงเสมอ 🎯