Akumulacja gradientów dla dużych batchy
Symulować duże batche na niewielkich GPU
Akumulacja gradientów dla dużych batchy to bezpłatna lekcja Deep Learning Academy na CoddyKit. To lekcja 2 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej Deep Learning Academy, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs Deep Learning Academy zawiera 4 lekcji w sumie.
Części tej lekcji nie zostały jeszcze przetłumaczone i są wyświetlane po angielsku.
The Big-Batch Problem
Large batches often train more smoothly, but they also need lots of GPU memory. A small card simply cannot hold a giant batch at once.
The Core Trick
Gradient accumulation splits one big batch into small chunks. You add up their gradients and update once, as if the whole batch ran together.
Gradients Already Accumulate
PyTorch adds each backward pass into .grad rather than replacing it. This default behavior is exactly what accumulation relies on.
Pick an Accumulation Count
Choose how many mini-batches make one update. With accum_steps of four, four small batches behave like one batch four times larger.
accum_steps = 4Do Not Zero Every Step
The key change is timing: zero_grad only at the start of an accumulation cycle, not after every single mini-batch.
if step % accum_steps == 0:
optimizer.zero_grad()Scale the Loss
Divide each mini-batch loss by accum_steps before backward. This keeps the average gradient identical to running the full batch at once.
loss = loss_fn(model(x), y) / accum_steps
loss.backward()Step Only When Full
After enough mini-batches pile up, call optimizer.step. The accumulated gradients now reflect the whole large batch.
if (step + 1) % accum_steps == 0:
optimizer.step()The Full Pattern
Put it together: scale the loss, backward every step, but only step and zero once per cycle. The loop stays simple.
for step, (x, y) in enumerate(loader):
loss = loss_fn(model(x), y) / accum_steps
loss.backward()
if (step + 1) % accum_steps == 0:
optimizer.step()
optimizer.zero_grad()Memory Stays Small
You only ever hold one mini-batch in memory at a time. That is why a modest GPU can mimic a batch many times its real capacity.
The Trade-Off
Accumulation trades time for memory: more forward and backward passes per update mean each effective batch takes a little longer to finish.
Mind Batch Norm
Batch norm still sees only the small mini-batch, so its statistics are noisier than a true large batch would produce. Keep that in mind.
Quick Check
You accumulate over 4 mini-batches. When should you call optimizer.step()?
Recap
Split a big batch into chunks, divide the loss by accum_steps, backward every chunk, and step only once per cycle to fake a large batch on small memory. 🧮
Często zadawane pytania
Czy lekcja „Akumulacja gradientów dla dużych batchy” jest bezpłatna?
Tak — pełny tekst „Akumulacja gradientów dla dużych batchy” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu Deep Learning Academy, przejdź na CoddyKit PRO. Kurs Deep Learning Academy zawiera 4 lekcji w sumie.
Co nauczysz się w „Akumulacja gradientów dla dużych batchy”?
Symulować duże batche na niewielkich GPU Ćwiczysz Deep Learning Academy z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć Deep Learning Academy?
Nie wymagamy żadnego doświadczenia. Deep Learning Academy w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 2 z 4.
Ile czasu zajmuje lekcja „Akumulacja gradientów dla dużych batchy”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji Deep Learning Academy?
Tak. Każda lekcja Deep Learning Academy zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Obliczenia mieszanej precyzji z autocast i GradScaler
- Akumulacja gradientów dla dużych batchy
- Profilowanie wąskiego gardła
- Zmniejszyć zużycie pamięci GPU