Data- vs. modellparallellitet
To måter å dele opp arbeidet på
Data- vs. modellparallellitet er en gratis leksjon i Deep Learning Academy på CoddyKit. Dette er leksjon 1 av 4. Du kan lese hele leksjonen gratis nedenfor – og deretter øve praktisk i nettleseren med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Den er en del av læringsløpet i Deep Learning Academy, og fremdriften din synkroniseres mellom nettet og CoddyKit-appen. Kurset i Deep Learning Academy inneholder totalt 4 leksjoner.
Hvorfor skalere ut i det hele tatt
Én GPU er tilstrekkelig helt til modellen eller datasettet blir stort. Distribuert trening fordeler arbeidet på flere GPU-er, slik at du blir ferdig mange timer raskere.
To måter å dele opp på
Det finnes to hovedstrategier: del dataene mellom GPU-er, eller del selve modellen. De løser hver sin flaskehals.
Dataparallellisme
Ved dataparallellisme har hver GPU en full kopi av modellen, men trener på en annen del av batchen. Dette er det vanligste oppsettet. 🚀
Synkroniser gradientene
Etter at hver GPU har beregnet gradienter for sin del, blir de gjennomsnittsberegnet på tvers av alle enhetene. Deretter utfører alle modellkopiene samme steg og forblir identiske.
Når dataparallellisme passer
Bruk dataparallellisme når modellen får plass på én GPU, men treningen går for sakte. Du øker gjennomstrømningen ved å legge til flere enheter.
Modellparallellisme
Ved modellparallellisme er nettverket for stort for én GPU. Derfor deles lagene mellom flere enheter, som hver bare holder en del.
Aktiveringer flyttes mellom GPU-er
Når modellen er delt opp, blir resultatet fra én GPU input til den neste. Denne overføringen medfører kommunikasjonskostnader mellom enhetene.
Pipeline-parallellisme
En smartere modelloppdeling er pipeline-parallellisme: mikrobatcher flyter gjennom lagstadiene, slik at ingen GPU blir inaktiv mens den venter på de andre.
Tensorparallellisme
Tensorparallellisme går mer detaljert til verks og deler én stor matrise-multiplikasjon mellom GPU-er. Det gjør trening av de aller største språkmodellene mulig.
Du kan kombinere dem
I reelle frontlinjekjøringer kombineres strategiene: dataparallellisme mellom noder og modellparallellisme i hver node. Denne hybride tilnærmingen trener modeller som er for store for én enkelt maskin.
Start enkelt
De fleste prosjekter trenger bare dataparallellisme. Lær deg dette først, og bruk modelloppdeling bare når nettverket faktisk ikke får plass.
Hurtigsjekk
Velg riktig strategi for situasjonen nedenfor.
Oppsummering
Du har lært de to måtene å skalere på: dataparallellisme kopierer modellen og deler batchen, mens modellparallellisme deler selve nettverket. Start med dataparallellisme.
Lær deg Python med en AI-veileder – gratis
Skriv og kjør ekte kode i nettleseren, få umiddelbar hjelp fra en AI-veileder som er tilgjengelig døgnet rundt, og fortsett der du slapp – på nettet eller i appen.
- Kurs
- 30
- Leksjoner
- 120
Ofte stilte spørsmål
Er leksjonen «Data- vs. modellparallellitet» gratis?
Ja – hele teksten i «Data- vs. modellparallellitet» er gratis å lese her på nettet. For å øve interaktivt med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt, og for å låse opp resten av Deep Learning Academy-kurset, kan du oppgradere til CoddyKit PRO. Kurset i Deep Learning Academy inneholder totalt 4 leksjoner.
Hva lærer jeg i «Data- vs. modellparallellitet»?
To måter å dele opp arbeidet på Du øver på Deep Learning Academy med praktisk kode som du kjører direkte i nettleseren, mens en AI-veileder som er tilgjengelig døgnet rundt, svarer på spørsmålene dine mens du jobber deg gjennom leksjonen.
Trenger jeg erfaring for å begynne med Deep Learning Academy?
Ingen tidligere erfaring er nødvendig. Deep Learning Academy på CoddyKit er lagt opp for både nybegynnere og viderekomne, så De kan begynne her eller helt fra start og lære i Deres eget tempo. Dette er leksjon 1 av 4.
Hvor lang tid tar leksjonen «Data- vs. modellparallellitet»?
De fleste CoddyKit-leksjoner tar omtrent 5–10 minutter. Hver leksjon er kort og interaktiv, slik at De gjør jevne fremskritt og kan fortsette akkurat der De slapp – både på nettet og i appen.
Kan jeg skrive og kjøre kode i denne Deep Learning Academy-leksjonen?
Ja. Alle Deep Learning Academy-leksjoner har en innebygd kodeeditor, slik at De kan skrive og kjøre ekte kode direkte i nettleseren og få umiddelbar tilbakemelding fra AI – uten lokal konfigurering.
Alle leksjonene i dette kurset
- Data- vs. modellparallellitet
- Grunnleggende om DistributedDataParallel
- Synkronisert batch-norm og sharded state
- Start jobber med torchrun