Taxas Discriminativas por Camada
Treine camadas profundas e superficiais de formas diferentes
Taxas Discriminativas por Camada é uma aula grátis de Deep Learning Academy no CoddyKit. Esta é a aula 3 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de Deep Learning Academy, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de Deep Learning Academy inclui 4 aulas no total.
Uma taxa para todos?
Até agora, todas as camadas compartilhavam uma única taxa de aprendizado. Mas as camadas iniciais e finais aprendem coisas muito diferentes. Talvez elas mereçam taxas diferentes. 🎚️
As camadas iniciais são gerais
As camadas iniciais de uma rede pré-treinada detectam bordas, cores e texturas. Essas características são transferidas para quase qualquer tarefa, então quase não precisam ser alteradas.
As camadas finais são específicas
As camadas posteriores capturam padrões específicos da tarefa. São elas que devem se adaptar mais ao seu novo conjunto de dados.
A grande ideia
O ajuste fino discriminativo atribui uma taxa de aprendizado mínima às camadas profundas e uma taxa maior às camadas de saída mais superficiais. Cada parte aprende na velocidade adequada.
Agrupe os parâmetros
Para usar taxas diferentes, divida o modelo em grupos de parâmetros, cada um com suas próprias configurações.
backbone_params = model.features.parameters()
head_params = model.classifier.parameters()Taxas de aprendizado por grupo
Os otimizadores do PyTorch aceitam uma lista de dicionários, um por grupo, e cada um contém seu próprio lr. A base recebe uma taxa pequena, e a cabeça, uma maior.
opt = torch.optim.Adam([
{'params': backbone_params, 'lr': 1e-5},
{'params': head_params, 'lr': 1e-3}])Por que isso ajuda
Isso protege as valiosas características gerais e permite que a cabeça se adapte rapidamente. Muitas vezes, você obtém maior precisão do que usando uma única taxa compartilhada.
Inclinada entre muitas camadas
Você pode dimensionar as taxas suavemente: cada bloco mais profundo recebe uma taxa um pouco menor. Esse gradiente de velocidades às vezes é chamado de programação inclinada.
Descongelamento gradual
Uma técnica complementar é o descongelamento gradual: descongele primeiro a camada superior, treine e depois descongele a próxima, avançando para baixo ao longo das épocas.
Inspecione seus grupos
Você pode consultar as configurações de cada grupo no otimizador para confirmar que todo param_group recebeu a taxa pretendida.
for g in opt.param_groups:
print(g['lr'])Quando usar
As taxas discriminativas são mais úteis em redes profundas, nas quais a diferença entre as camadas gerais e específicas é grande.
Verificação rápida
No ajuste fino discriminativo, quais camadas devem receber a menor taxa de aprendizado?
Recapitulação
Você atribuiu taxas pequenas às camadas profundas e uma taxa maior à cabeça usando grupos de parâmetros, opcionalmente com descongelamento gradual, para obter uma transferência de aprendizado mais precisa. 🎯
Aprenda Python com um tutor de IA — grátis
Escreva e execute código real no seu navegador, obtenha ajuda instantânea de um tutor de IA 24/7 e continue de onde parou na web ou no app.
- Cursos
- 30
- Aulas
- 120
Perguntas Frequentes
A aula “Taxas Discriminativas por Camada” é grátis?
Sim — o texto completo de “Taxas Discriminativas por Camada” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de Deep Learning Academy, atualize para CoddyKit PRO. O curso de Deep Learning Academy inclui 4 aulas no total.
O que vou aprender em “Taxas Discriminativas por Camada”?
Treine camadas profundas e superficiais de formas diferentes Você pratica Deep Learning Academy com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar Deep Learning Academy?
Nenhuma experiência prévia é necessária. Deep Learning Academy no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 3 de 4.
Quanto tempo leva a aula “Taxas Discriminativas por Camada”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de Deep Learning Academy?
Sim. Cada aula de Deep Learning Academy inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Congele a Base e Treine a Cabeça
- Faça Ajuste Fino com uma Taxa de Aprendizado Menor
- Taxas Discriminativas por Camada
- Faça Ajuste Fino em um Modelo Hugging Face