ऑक्यूपेंसी का वास्तविक अर्थ

हर GPU कोर, जिसे SM कहा जाता है, एक साथ कई वार्प सक्रिय रख सकता है। अधिभोग बताता है कि यह क्षमता वास्तव में कितनी भरी हुई है। 🎯

अधिभोग किसी SM पर सक्रिय वार्प्स और उस SM द्वारा रखे जा सकने वाले अधिकतम वार्प्स का अनुपात है। अधिक सक्रिय वार्प्स का अर्थ है कि मशीन अधिक भरी हुई है।

जब कोई वार्प धीमे मेमोरी-पठन पर रुकता है, तो SM तुरंत दूसरा तैयार वार्प चलाता है। इसी अदला-बदली से GPU विलंबता को छिपाता है।

हर आर्किटेक्चर एक सीमा तय करता है, जो अक्सर प्रति SM 64 वार्प्स होती है। अधिभोग आपके कर्नेल की तुलना इस हार्डवेयर सीमा से करता है।

सैद्धांतिक अधिभोग वह है जिसकी अनुमति आपका लॉन्च विन्यास कागज़ पर देता है। प्राप्त अधिभोग वह है जो वास्तव में चला और जिसे प्रोफ़ाइलर ने मापा।

यदि कोई SM 64 वार्प्स रख सकता है, लेकिन आपका कर्नेल केवल 32 वार्प्स सक्रिय रखता है, तो आपका अधिभोग 50% है। विलंबता छिपाने की आधी क्षमता निष्क्रिय रहती है।

अधिभोग की गिनती हमेशा वार्प्स में होती है, अलग-अलग थ्रेड्स में नहीं। एक वार्प में 32 थ्रेड्स होते हैं, इसलिए 256-थ्रेड वाला ब्लॉक ठीक 8 वार्प्स का होता है।

शेड्यूलर हर सक्रिय ब्लॉक को वार्प्स में बाँटता है। इसलिए प्रति SM ब्लॉक की संख्या को प्रति ब्लॉक वार्प्स से गुणा करने पर सक्रिय वार्प्स की संख्या मिलती है।

तीन संसाधन अधिभोग को सीमित करते हैं: प्रति थ्रेड रजिस्टर, प्रति ब्लॉक साझा मेमोरी और SM की वार्प सीमा। इनमें से सबसे कड़ी सीमा प्रभावी होती है।

अधिक अधिभोग आमतौर पर विलंबता को बेहतर ढंग से छिपाता है, लेकिन एक सीमा के बाद इससे कोई अतिरिक्त लाभ नहीं मिलता। यह एक साधन है, अंतिम लक्ष्य नहीं।

Nsight Compute जैसे प्रोफ़ाइलर आपके कर्नेल के ठीक पास प्राप्त अधिभोग दिखाते हैं। यही संख्या आपके समायोजन की शुरुआत होनी चाहिए।

आपने सीखा कि अधिभोग SM की अधिकतम सीमा के सापेक्ष सक्रिय वार्प्स का अनुपात है, इसकी गिनती वार्प्स में होती है और यह विलंबता छिपाने में सहायता करता है। 🚀