Veri ve Model Paralelliği

Modeliniz veya veri kümeniz büyüyene kadar tek GPU yeterlidir. Dağıtık eğitim, işi birçok GPU'ya yayarak saatler süren işlemleri çok daha hızlı tamamlamanızı sağlar.

İki temel strateji vardır: veriyi GPU'lar arasında bölmek veya modelin kendisini bölmek. Her biri farklı bir darboğazı çözer.

Veri paralelliğinde her GPU modelin tam bir kopyasını tutar, ancak toplu işin farklı bir bölümü üzerinde eğitim yapar. En yaygın kurulum budur. 🚀

Her GPU kendi bölümü için gradyanları hesapladıktan sonra bunlar tüm aygıtlar arasında ortalaması alınarak birleştirilir. Ardından her model kopyası aynı adımı atar ve özdeş kalır.

Modeliniz tek bir GPU'ya sığıyor, ancak eğitim yalnızca yavaş ilerliyorsa veri paralelliğini kullanın. Daha fazla aygıt ekleyerek işlem kapasitesini artırırsınız.

Model paralelliğinde ağ tek bir GPU'ya sığmayacak kadar büyüktür; bu nedenle katmanları birkaç aygıta bölünür ve her aygıt yalnızca bir parçayı tutar.

Bölünmüş bir modelde bir GPU'nun çıktısı, sonraki GPU'nun girdisi olur. Bu aktarım, aygıtlar arasında iletişim maliyeti oluşturur.

Daha akıllı bir model bölme yöntemi boru hattı paralelliğidir: küçük toplu işler katman aşamalarından akar ve böylece hiçbir GPU diğerlerini beklerken boş kalmaz.

Tensör paralelliği daha ince bir bölme yaparak tek bir büyük matris çarpımını GPU'lar arasında paylaştırır. En büyük dil modellerinin eğitimini mümkün kılar.

Gerçek öncü çalışmalar stratejileri birleştirir: düğümler arasında veri paralelliği, her düğümün içinde model paralelliği kullanılır. Bu karma yaklaşım, tek bir makineye sığmayacak kadar büyük modelleri eğitir.

Çoğu projede yalnızca veri paralelliğine ihtiyaç duyulur. Önce bunu öğrenin; model bölmeye ancak ağınız gerçekten sığmadığında başvurun.

Ölçeği büyütmenin iki yolunu öğrendiniz: veri paralelliği modeli kopyalayıp toplu işi böler, model paralelliği ise ağın kendisini böler. Veri paralelliğiyle başlayın.