Data बनाम Model Parallelism

जब तक आपका model या dataset बड़ा नहीं हो जाता, एक GPU पर्याप्त है। Distributed training काम को कई GPUs में बाँटती है, जिससे training घंटों पहले पूरी हो सकती है।

दो मुख्य रणनीतियाँ हैं: data को GPUs में बाँटना या स्वयं model को बाँटना। दोनों अलग-अलग bottleneck हल करते हैं।

data parallelism में हर GPU पर model की पूरी copy होती है, लेकिन हर GPU batch के अलग हिस्से पर training करता है। यह सबसे सामान्य setup है। 🚀

हर GPU अपने हिस्से पर gradients निकालने के बाद उन्हें सभी devices पर औसत किया जाता है। फिर हर model copy एक जैसा step लेती है और समान बनी रहती है।

जब आपका model एक GPU पर समा जाता हो, लेकिन training धीमी हो, तब data parallelism अपनाएँ। अधिक devices जोड़कर throughput बढ़ाएँ।

model parallelism में network एक GPU के लिए बहुत बड़ा होता है, इसलिए उसकी layers कई devices में बाँट दी जाती हैं और हर device केवल एक हिस्सा रखता है।

विभाजित model में एक GPU का output अगले GPU का input बनता है। इस हस्तांतरण से devices के बीच communication cost बढ़ती है।

Model को बाँटने का अधिक समझदार तरीका pipeline parallelism है: micro-batches layer stages से होकर बहते हैं, ताकि कोई GPU बाकी GPUs की प्रतीक्षा में idle न रहे।

tensor parallelism और सूक्ष्म स्तर पर काम करता है और एक बड़े matrix multiply को GPUs में बाँटता है। इससे सबसे बड़े language models की training संभव होती है।

वास्तविक frontier runs कई रणनीतियाँ मिलाते हैं: nodes के बीच data parallel और प्रत्येक node के भीतर model parallel। यह hybrid तरीका ऐसी models को train करता है जो किसी एक machine में नहीं समा सकते।

अधिकांश projects को केवल data parallelism की आवश्यकता होती है। पहले इसमें दक्ष हों और model splitting का उपयोग तभी करें जब आपका network सचमुच एक GPU में न समा सके।

आपने scale करने के दो तरीके सीखे: data parallelism model की copies बनाकर batch बाँटता है, जबकि model parallelism स्वयं network को बाँटता है। शुरुआत data parallel से करें।