Faça Ajuste Fino com uma Taxa de Aprendizado Menor
Atualize suavemente os pesos pré-treinados
Faça Ajuste Fino com uma Taxa de Aprendizado Menor é uma aula grátis de Deep Learning Academy no CoddyKit. Esta é a aula 2 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de Deep Learning Academy, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de Deep Learning Academy inclui 4 aulas no total.
Partes desta aula ainda não foram traduzidas e aparecem em inglês.
Beyond Just the Head
Freezing the backbone is fast, but sometimes you want the whole model to adapt. Fine-tuning unfreezes it and trains everything together. 🔧
Unfreeze the Backbone
To fine-tune, you flip requires_grad back to True so the pretrained weights can move again during training.
for p in model.parameters():
p.requires_grad = TrueThe Danger of a Big Step
Those pretrained weights are already excellent. A large learning rate would overwrite them with noisy updates and destroy what they learned.
Go Gentle
The fix is a lower learning rate. Small steps nudge the pretrained weights toward your task without erasing their knowledge.
opt = torch.optim.Adam(model.parameters(), lr=1e-5)How Much Lower?
A common rule of thumb: use a learning rate ten to a hundred times smaller than you would for training from scratch.
Warm Up the Head First
A popular trick: train only the head for a few epochs, then unfreeze and fine-tune. This avoids a shock to the backbone early on.
Watch Validation Loss
Fine-tuning can quickly overfit a small dataset. Keep an eye on validation loss and stop as soon as it starts climbing.
Fewer Epochs Needed
Because the model already understands the data, fine-tuning usually converges in just a few epochs, not dozens.
Pair It With a Scheduler
A scheduler can shrink the learning rate further over time, letting the model settle gently into a good solution.
sched = torch.optim.lr_scheduler.CosineAnnealingLR(opt, T_max=5)Full Fine-Tune vs Frozen
Full fine-tuning needs more data and compute but reaches higher accuracy. Frozen training is cheaper. The tradeoff depends on your dataset size.
Keep the Best Checkpoint
Since fine-tuning can drift, save the model whenever validation accuracy improves so you never lose your best version.
Quick Check
You unfroze a pretrained model to fine-tune it. What learning rate should you use?
Recap
You unfroze the backbone, fine-tuned with a low learning rate, warmed up the head first, and watched validation to stop overfitting. 🎯
Perguntas Frequentes
A aula “Faça Ajuste Fino com uma Taxa de Aprendizado Menor” é grátis?
Sim — o texto completo de “Faça Ajuste Fino com uma Taxa de Aprendizado Menor” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de Deep Learning Academy, atualize para CoddyKit PRO. O curso de Deep Learning Academy inclui 4 aulas no total.
O que vou aprender em “Faça Ajuste Fino com uma Taxa de Aprendizado Menor”?
Atualize suavemente os pesos pré-treinados Você pratica Deep Learning Academy com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar Deep Learning Academy?
Nenhuma experiência prévia é necessária. Deep Learning Academy no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 2 de 4.
Quanto tempo leva a aula “Faça Ajuste Fino com uma Taxa de Aprendizado Menor”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de Deep Learning Academy?
Sim. Cada aula de Deep Learning Academy inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Congele a Base e Treine a Cabeça
- Faça Ajuste Fino com uma Taxa de Aprendizado Menor
- Taxas Discriminativas por Camada
- Faça Ajuste Fino em um Modelo Hugging Face