ความแม่นยำผสม: FP16, BF16, TF32

แกน Tensor ได้ความเร็วจากความละเอียดผสม โดยป้อนรูปแบบตัวเลขที่เล็กลง เพื่อให้ฮาร์ดแวร์ทำคณิตศาสตร์ได้มากขึ้นในแต่ละรอบ ⚡

FP32 มาตรฐานใช้ 32 บิตต่อค่า มีความแม่นยำสูงแต่ใช้ทรัพยากรมาก ดังนั้นการย้ายและคูณค่า FP32 จำนวนมากจึงกินแบนด์วิดท์และเวลา

FP16ใช้เพียง 16 บิต โดยมีเลขชี้กำลังที่เล็กลงและบิตแมนทิสซาน้อยลง ขนาดครึ่งหนึ่งหมายถึงสามารถย้ายและคูณค่าได้มากขึ้นพร้อมกัน

FP16 ช่วยประหยัดพื้นที่ แต่เลขชี้กำลังที่มีช่วงแคบทำให้มีช่วงไดนามิกเล็กมาก ค่าที่ใหญ่มากหรือเล็กมากอาจล้นหรือหายไปเป็นศูนย์

BF16มีขนาด 16 บิตเช่นกัน แต่คงเลขชี้กำลังเต็มช่วงของ FP32 ไว้ โดยแลกด้วยบิตแมนทิสซาแทน จึงมีช่วงค่าเท่า FP32 แต่ความแม่นยำน้อยกว่า

เนื่องจาก BF16 มีช่วงค่ากว้างเหมือน FP32 ค่าเกรเดียนต์จึงแทบไม่ล้น ทำให้BF16เป็นตัวเลือกยอดนิยมสำหรับฝึกโครงข่ายประสาทขนาดใหญ่อย่างปลอดภัย

TF32เป็นรูปแบบ 19 บิตสำหรับแกน Tensor ใช้เลขชี้กำลังของ FP32 แต่ลดขนาดแมนทิสซา ช่วยเร่งคณิตศาสตร์ขณะเดียวกันโค้ดยังมองเห็นเป็น FP32

ไม่ว่าอินพุตจะอยู่ในรูปแบบใด แกน Tensor มักจะสะสมผลรวมบางส่วนใน FP32 ความเร็วอยู่ที่อินพุต ส่วนความปลอดภัยอยู่ที่ผลรวมต่อเนื่อง

แนวคิดสำคัญคือ FP16 และ BF16 ใช้ 16 บิตเท่ากัน แต่แบ่งบิตต่างกัน แบบหนึ่งเน้นความแม่นยำ ส่วนอีกแบบเน้นช่วงค่า

ใช้ BF16 หรือ TF32 เมื่อช่วงค่ามีความสำคัญ และใช้ FP16 เมื่อคุณจัดการการปรับสเกลได้ รูปแบบข้อมูลที่เหมาะสมขึ้นอยู่กับข้อมูลของคุณ ไม่ใช่แค่ความเร็ว

ใน CUDA C++ ชนิดข้อมูล FP16 มีชื่อสั้น ๆ บรรทัดนี้ประกาศค่าความละเอียดครึ่งหนึ่งหนึ่งค่า ซึ่งพร้อมใช้กับคณิตศาสตร์ของแกน Tensor

คุณได้เห็นแล้วว่าความละเอียดผสมแลกบิตกับปริมาณงานอย่างไร FP16 เน้นความแม่นยำ BF16 เน้นช่วงค่า และ TF32 เร่งคณิตศาสตร์แบบ FP32 การสะสมด้วยความละเอียดสูงช่วยรักษาความปลอดภัยของผลลัพธ์ ✨