Ajustement fin : dégel et réentraînement

Une fois que l’extraction de caractéristiques a entraîné votre tête, l’ajustement fin permet d’obtenir une précision supplémentaire en laissant la partie supérieure de la base préentraînée s’adapter à vos données. Effectuez-le uniquement lorsque la tête est stable ; sinon, les grands gradients d’une tête aléatoire risquent d’endommager la base.

Définissez base.trainable = True pour rendre à nouveau les poids modifiables. À elle seule, cette instruction déverrouille toutes les couches, ce qui est généralement trop agressif.

Les premières couches contiennent des détecteurs génériques de contours et de textures que vous souhaitez conserver. Gelez à nouveau les N premières couches et effectuez l’ajustement fin uniquement sur les couches plus profondes, spécifiques à la tâche.

L’ajustement fin nécessite un taux d’apprentissage minuscule, tel que 1e-5. Les poids préentraînés sont déjà performants ; vous souhaitez seulement les modifier légèrement. Un taux élevé provoque un oubli catastrophique et efface les connaissances ImageNet que vous cherchiez à réutiliser.

Vous devez recompiler le modèle après avoir modifié les indicateurs trainable, afin que Keras reconstruise la liste des poids recevant des gradients. Définissez ici le faible taux d’apprentissage.

1. Phase 1 (extraction de caractéristiques) : base gelée, entraînez la tête à environ 1e-3 jusqu’à ce que la précision de validation plafonne.
2. Phase 2 (ajustement fin) : déverrouillez les couches supérieures, recompilez avec environ 1e-5, puis poursuivez l’entraînement.

Cette séparation stabilise l’entraînement et protège les caractéristiques préentraînées.

Reprenez l’entraînement là où la phase 1 s’est arrêtée en utilisant initial_epoch, afin que les journaux et les planifications restent continus.

Un planificateur réduit progressivement le taux d’apprentissage afin que les mises à jour diminuent à mesure que le modèle converge. ReduceLROnPlateau le réduit automatiquement lorsque la perte de validation stagne.

ResNet et EfficientNet contiennent des couches BatchNormalization qui suivent des statistiques courantes. Lors de l’ajustement fin, conserver les couches BN gelées (ou en mode inférence) donne souvent des résultats plus stables, car mettre à jour leurs statistiques sur un petit jeu de données peut nuire à la précision.

Le réglage fin ajoute de nombreux paramètres entraînables, ce qui augmente le risque de surapprentissage. Combattez-le avec l’augmentation des données, Dropout et EarlyStopping sur la perte de validation.

Une procédure de réglage fin robuste consiste à entraîner la tête, dégeler les couches supérieures, geler BN, recompiler avec un taux de 1e-5, puis entraîner avec un planificateur et un arrêt anticipé. Comparez toujours la précision de validation avant et après pour vérifier que le réglage fin a réellement été utile.

Testez vos connaissances sur le réglage fin.

Vous avez appris à effectuer un réglage fin en définissant base.trainable=True, en regelant les N premières couches, en recompilant avec un taux d’apprentissage très faible (1e-5), puis en exécutant un processus en deux phases. Un planificateur du taux d’apprentissage et un arrêt anticipé assurent la stabilité, et les couches BatchNorm nécessitent une attention particulière. Ensuite : les modèles légers pour le déploiement en périphérie.