मिश्रित परिशुद्धता: FP16, BF16, TF32

टेन्सर कोर को अपनी गति मिश्रित सटीकता से मिलती है: छोटे संख्या-प्रारूपों को इनपुट के रूप में देकर हार्डवेयर हर चक्र में बहुत अधिक गणना कर सकता है। ⚡

मानक FP32 हर मान के लिए 32 बिट का उपयोग करता है। यह सटीक है, लेकिन भारी भी; इसलिए बहुत से FP32 मानों को स्थानांतरित और गुणा करने में बैंडविड्थ और समय अधिक लगता है।

FP16 केवल 16 बिट का उपयोग करता है: छोटा घातांक और कम मैन्टिसा बिट। आधे आकार का अर्थ है कि एक साथ अधिक मान स्थानांतरित और गुणा किए जा सकते हैं।

FP16 जगह बचाता है, लेकिन इसका संकीर्ण घातांक बहुत छोटी डायनेमिक रेंज देता है। बहुत बड़े या बहुत छोटे मान ओवरफ्लो हो सकते हैं या शून्य में गायब हो सकते हैं।

BF16 भी 16 बिट का होता है, लेकिन FP32 का पूरा घातांक बनाए रखता है और इसके बदले मैन्टिसा बिट कम करता है। इसकी रेंज FP32 जैसी होती है, पर सटीकता कम होती है।

BF16 की रेंज FP32 जैसी व्यापक होने के कारण ग्रेडिएंट का ओवरफ्लो बहुत कम होता है। इसी वजह से बड़े न्यूरल नेटवर्क को सुरक्षित रूप से प्रशिक्षित करने के लिए BF16 पसंद किया जाता है।

TF32 19-बिट का टेन्सर कोर प्रारूप है: FP32 का घातांक और छोटा किया हुआ मैन्टिसा। यह गणित को तेज़ करता है, जबकि आपके कोड को FP32 जैसा दिखाई देता है।

इनपुट प्रारूप चाहे कोई भी हो, टेन्सर कोर आम तौर पर आंशिक योगों को FP32 में संचित करते हैं। गति इनपुट में है और सुरक्षा चलते हुए कुल योग में।

मुख्य बात यह है: FP16 और BF16 दोनों 16 बिट लेते हैं, लेकिन उन्हें अलग तरीके से बाँटते हैं। एक सटीकता को प्राथमिकता देता है और दूसरा रेंज को।

जब रेंज महत्वपूर्ण हो, तब BF16 या TF32 उपयोग करें; जब स्केलिंग संभाल सकें, तब FP16 उपयोग करें। सही प्रारूप केवल गति पर नहीं, आपके डेटा पर निर्भर करता है।

CUDA C++ में FP16 प्रकार का एक छोटा नाम होता है। यह पंक्ति टेन्सर कोर गणित के लिए तैयार एक half मान घोषित करती है।

आपने देखा कि मिश्रित सटीकता थ्रूपुट के बदले बिट का संतुलन बनाती है: FP16 सटीकता को, BF16 रेंज को और TF32 FP32-जैसे गणित की गति को प्राथमिकता देता है। व्यापक संचय परिणामों को सुरक्षित रखता है। ✨