Data- versus modelparallelisme

Eén GPU voldoet totdat je model of dataset groot wordt. Distributed training verdeelt het werk over meerdere GPU's, zodat je uren sneller klaar bent.

Er zijn twee hoofdstrategieën: verdeel de data over GPU's of verdeel het model zelf. Elke strategie lost een ander knelpunt op.

Bij data parallelism bevat elke GPU een volledige kopie van het model, maar traint die op een ander deel van de batch. Dit is de meest gebruikelijke opstelling. 🚀

Nadat elke GPU gradients voor zijn deel heeft berekend, worden ze over alle apparaten gemiddeld. Elke modelkopie voert daarna dezelfde stap uit en blijft identiek.

Kies voor dataparallelisme wanneer je model op één GPU past, maar training simpelweg traag is. Je verhoogt de doorvoer door meer apparaten toe te voegen.

Bij model parallelism is het netwerk te groot voor één GPU. Daarom worden de lagen over meerdere apparaten verdeeld, waarbij elk apparaat slechts een deel bevat.

Bij een opgesplitst model wordt de uitvoer van de ene GPU de invoer voor de volgende. Deze overdracht brengt extra communicatiekosten tussen de apparaten met zich mee.

Een slimmere manier om een model te splitsen is pipeline parallelism: microbatches stromen door de fases van de lagen, zodat geen GPU inactief wacht op de andere.

Tensor parallelism gaat nog een stap verder en splitst één grote matrixvermenigvuldiging over meerdere GPU's. Hiermee worden de grootste taalmodellen getraind.

Bij echte geavanceerde trainingsruns worden strategieën gecombineerd: dataparallelisme over nodes en modelparallelisme binnen elke node. Met deze hybride aanpak train je modellen die te groot zijn voor één machine.

De meeste projecten hebben alleen data parallelism nodig. Beheers dat eerst en splits het model pas op wanneer je netwerk echt niet op één GPU past.

Je hebt de twee manieren om op te schalen geleerd: data parallelism kopieert het model en splitst de batch, terwijl modelparallelisme het netwerk zelf splitst. Begin met dataparallelisme.