Acumulação de Gradientes para Lotes Grandes
Simule lotes grandes em GPUs pequenas
Acumulação de Gradientes para Lotes Grandes é uma aula grátis de Deep Learning Academy no CoddyKit. Esta é a aula 2 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de Deep Learning Academy, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de Deep Learning Academy inclui 4 aulas no total.
O problema dos lotes grandes
Lotes grandes geralmente tornam o treinamento mais estável, mas também precisam de muita memória da GPU. Uma placa pequena simplesmente não consegue armazenar um lote enorme de uma vez.
O truque principal
A acumulação de gradientes divide um lote grande em partes pequenas. Você soma os gradientes dessas partes e atualiza uma vez, como se o lote inteiro tivesse sido processado junto.
Os gradientes já se acumulam
O PyTorch adiciona cada passagem backward a .grad em vez de substituí-la. Esse comportamento padrão é exatamente aquilo de que a acumulação depende.
Escolha uma quantidade de acumulação
Escolha quantos mini lotes formarão uma atualização. Com accum_steps igual a quatro, quatro lotes pequenos se comportam como um lote quatro vezes maior.
accum_steps = 4Não zere a cada step
A mudança principal está no momento: use zero_grad apenas no início de um ciclo de acumulação, não depois de cada mini lote.
if step % accum_steps == 0:
optimizer.zero_grad()Escale a perda
Divida a perda de cada mini lote por accum_steps antes de backward. Isso mantém o gradiente médio idêntico ao de executar o lote completo de uma vez.
loss = loss_fn(model(x), y) / accum_steps
loss.backward()Avance somente quando estiver completo
Depois que mini lotes suficientes forem acumulados, chame optimizer.step. Os gradientes acumulados agora representam o lote grande inteiro.
if (step + 1) % accum_steps == 0:
optimizer.step()O padrão completo
Juntando tudo: escale a perda, faça backward a cada step, mas execute step e zero apenas uma vez por ciclo. O loop continua simples.
for step, (x, y) in enumerate(loader):
loss = loss_fn(model(x), y) / accum_steps
loss.backward()
if (step + 1) % accum_steps == 0:
optimizer.step()
optimizer.zero_grad()A memória continua baixa
Você mantém na memória apenas um mini lote por vez. É por isso que uma GPU modesta consegue simular um lote muitas vezes maior que sua capacidade real.
A compensação
A acumulação troca tempo por memória: mais passagens diretas e backward por atualização fazem com que cada lote efetivo leve um pouco mais tempo para terminar.
Tenha cuidado com Batch Norm
Batch norm ainda enxerga apenas o mini lote pequeno, então suas estatísticas são mais ruidosas do que seriam em um lote grande de verdade. Tenha isso em mente.
Verificação rápida
Você acumula gradientes ao longo de 4 mini lotes. Quando deve chamar optimizer.step()?
Recapitulação
Divida um lote grande em partes, divida a perda por accum_steps, faça backward em cada parte e avance apenas uma vez por ciclo para simular um lote grande com pouca memória. 🧮
Aprenda Python com um tutor de IA — grátis
Escreva e execute código real no seu navegador, obtenha ajuda instantânea de um tutor de IA 24/7 e continue de onde parou na web ou no app.
- Cursos
- 30
- Aulas
- 120
Perguntas Frequentes
A aula “Acumulação de Gradientes para Lotes Grandes” é grátis?
Sim — o texto completo de “Acumulação de Gradientes para Lotes Grandes” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de Deep Learning Academy, atualize para CoddyKit PRO. O curso de Deep Learning Academy inclui 4 aulas no total.
O que vou aprender em “Acumulação de Gradientes para Lotes Grandes”?
Simule lotes grandes em GPUs pequenas Você pratica Deep Learning Academy com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar Deep Learning Academy?
Nenhuma experiência prévia é necessária. Deep Learning Academy no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 2 de 4.
Quanto tempo leva a aula “Acumulação de Gradientes para Lotes Grandes”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de Deep Learning Academy?
Sim. Cada aula de Deep Learning Academy inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Precisão Mista com autocast e GradScaler
- Acumulação de Gradientes para Lotes Grandes
- Analise o Gargalo
- Reduza o Uso de Memória da GPU