Ajuste fino: descongelamento e retreinamento

Depois que a extração de características treinar sua camada final, o ajuste fino permite obter mais precisão ao adaptar a parte superior da base pré-treinada aos seus dados. Faça isso somente quando a camada final estiver estável; caso contrário, gradientes grandes de uma camada final aleatória podem danificar a base.

Defina base.trainable = True para tornar os pesos atualizáveis novamente. Por si só, isso descongela todas as camadas, o que geralmente é agressivo demais.

As camadas iniciais contêm detectores genéricos de bordas e texturas que você deseja preservar. Congele novamente as primeiras N camadas e faça o ajuste fino apenas das camadas mais profundas e específicas da tarefa.

O ajuste fino exige uma taxa de aprendizado muito baixa, como 1e-5. Os pesos pré-treinados já são bons; você quer apenas fazer pequenos ajustes. Uma taxa alta causa esquecimento catastrófico, apagando o conhecimento do ImageNet que você veio reutilizar.

Você precisa recompilar depois de alterar as sinalizações trainable, para que o Keras reconstrua quais pesos recebem gradientes. Defina aqui a taxa de aprendizado baixa.

1. Fase 1 (extração de características): base congelada; treine a camada final a aproximadamente 1e-3 até que a precisão de validação atinja um platô.
2. Fase 2 (ajuste fino): descongele as camadas superiores, recompile com aproximadamente 1e-5 e continue o treinamento.

Dividir o processo dessa forma estabiliza o treinamento e protege as características pré-treinadas.

Retome o treinamento do ponto em que a fase 1 parou usando initial_epoch, para que os registros e as programações permaneçam contínuos.

Um agendador reduz gradualmente a taxa de aprendizado ao longo do tempo, fazendo com que as atualizações diminuam à medida que o modelo converge. ReduceLROnPlateau a reduz automaticamente quando a perda de validação fica estagnada.

ResNet e EfficientNet contêm camadas BatchNormalization que acompanham estatísticas acumuladas. Ao fazer o ajuste fino, manter as camadas BN congeladas (ou no modo de inferência) geralmente produz resultados mais estáveis, pois atualizar suas estatísticas com um conjunto de dados pequeno pode prejudicar a precisão.

O ajuste fino adiciona muitos parâmetros treináveis, aumentando o risco de sobreajuste. Combata-o com aumento de dados, regularização por desligamento aleatório e EarlyStopping com base na perda de validação.

Uma execução robusta de ajuste fino consiste em: treinar o head, descongelar as camadas superiores, congelar BN, recompilar com 1e-5 e então treinar com um agendador e parada antecipada. Compare sempre a acurácia de validação antes e depois para confirmar que o ajuste fino realmente ajudou.

Você aprendeu a fazer ajuste fino definindo base.trainable=True, congelando novamente as primeiras N camadas, recompilando com uma taxa de aprendizado muito baixa (1e-5) e executando um processo em duas fases. Um agendador da taxa de aprendizado e a parada antecipada mantêm o processo estável, e as camadas BatchNorm exigem atenção. A seguir: modelos leves para implantação em dispositivos de borda.