Data- kontra modellparallellism
Två sätt att dela upp arbetet
Data- kontra modellparallellism är en gratis lektion i Deep Learning Academy på CoddyKit. Detta är lektion 1 av 4. Ni kan läsa hela lektionen gratis nedan och sedan öva praktiskt i webbläsaren med en inbyggd kodredigerare och en AI-handledare som är tillgänglig dygnet runt. Den ingår i lärvägen för Deep Learning Academy, och Era framsteg synkroniseras mellan webben och CoddyKit-appen. Kursen i Deep Learning Academy innehåller totalt 4 lektioner.
Varför skala ut över huvud taget
En GPU räcker tills modellen eller datamängden blir stor. Distributed training sprider arbetet över flera GPU:er så att du blir klar många timmar snabbare.
Två sätt att dela upp arbetet
Det finns två grundstrategier: dela data mellan GPU:er eller dela själva modellen. De löser olika flaskhalsar.
Dataparallelism
Med data parallelism har varje GPU en fullständig kopia av modellen, men tränar på en annan del av batchen. Det är den vanligaste konfigurationen. 🚀
Synkronisera gradienterna
När varje GPU har beräknat gradienter för sin del blir de averaged över alla enheter. Varje modellkopia tar sedan samma steg och förblir identisk.
När dataparallelism passar
Använd dataparallelism när modellen fits on one GPU men träningen går för långsamt. Du ökar genomströmningen genom att lägga till fler enheter.
Modellparallelism
Med model parallelism är nätverket för stort för en GPU, så lagren delas upp över flera enheter, där varje enhet bara håller en del.
Aktiveringar färdas mellan GPU:er
Med en uppdelad modell blir utdata från en GPU input till nästa. Detta överlämnande medför kommunikationskostnader mellan enheterna.
Pipeline-parallelism
En smartare modelluppdelning är pipeline parallelism: mikrobatcher flödar genom lagerstegen så att ingen GPU står sysslolös och väntar på de andra.
Tensorparallelism
Tensor parallelism går längre och delar upp en enda stor matrismultiplikation mellan GPU:er. Det används vid träning av de allra största språkmodellerna.
Du kan kombinera dem
I verkliga storskaliga körningar kombineras strategierna: dataparallelism mellan noder och modellparallelism inom varje nod. Detta hybrid-tillvägagångssätt tränar modeller som är för stora för en enda maskin.
Börja enkelt
De flesta projekt behöver bara data parallelism. Lär dig det först och använd modelluppdelning först när nätverket verkligen inte får plats.
Snabb kontroll
Välj rätt strategi för situationen nedan.
Sammanfattning
Du har lärt dig de två sätten att skala: data parallelism kopierar modellen och delar upp batchen, medan modellparallelism delar själva nätverket. Börja med dataparallelism.
Lär dig Python med en AI-lärare – gratis
Skriv och kör riktig kod i webbläsaren, få omedelbar hjälp av en AI-lärare dygnet runt och fortsätt där du slutade – på webben eller i appen.
- Kurser
- 30
- Lektioner
- 120
Vanliga frågor
Är lektionen ”Data- kontra modellparallellism” gratis?
Ja – hela texten till ”Data- kontra modellparallellism” kan läsas gratis här på webben. Om Ni vill öva interaktivt med en inbyggd kodredigerare och en AI-handledare som är tillgänglig dygnet runt och låsa upp resten av kursen i Deep Learning Academy, kan Ni uppgradera till CoddyKit PRO. Kursen i Deep Learning Academy innehåller totalt 4 lektioner.
Vad lär jag mig i ”Data- kontra modellparallellism”?
Två sätt att dela upp arbetet Ni övar på Deep Learning Academy med praktisk kod som körs direkt i webbläsaren, medan en AI-handledare som är tillgänglig dygnet runt svarar på Era frågor under lektionen.
Behöver jag någon erfarenhet för att börja lära mig Deep Learning Academy?
Du behöver inga förkunskaper. Utbildningen i Deep Learning Academy på CoddyKit är upplagd för allt från nybörjare till avancerade elever, så att du kan börja här eller från början och gå fram i din egen takt. Detta är lektion 1 av 4.
Hur lång tid tar lektionen ”Data- kontra modellparallellism”?
De flesta CoddyKit-lektioner tar cirka 5–10 minuter. Varje lektion är kort och interaktiv, så att du gör stadiga framsteg och kan fortsätta precis där du slutade – på webben eller i appen.
Kan jag skriva och köra kod i den här Deep Learning Academy-lektionen?
Ja. Varje Deep Learning Academy-lektion innehåller en inbyggd kodredigerare, så att du kan skriva och köra riktig kod direkt i webbläsaren och få omedelbar AI-feedback – utan lokal installation.
Alla lektioner i den här kursen
- Data- kontra modellparallellism
- Grunderna i DistributedDataParallel
- Synkroniserad Batch Norm och shardat tillstånd
- Starta jobb med torchrun