Concepts et stratégies de l’apprentissage par transfert

L’apprentissage par transfert réutilise un modèle entraîné sur un vaste jeu de données comme point de départ pour une nouvelle tâche apparentée. Au lieu d’apprendre les caractéristiques visuelles à partir de zéro, vous réutilisez celles qu’un réseau a déjà apprises.

Cela réduit considérablement la quantité de données et la puissance de calcul nécessaires pour atteindre une grande précision.

La plupart des modèles de vision préentraînés sont entraînés sur ImageNet : environ 1,4 million d’images réparties en 1000 classes.

Au cours de cet entraînement, le réseau apprend une hiérarchie de caractéristiques : les contours et les couleurs dans les premières couches, les textures au milieu et les parties des objets vers le sommet. Ces caractéristiques de bas niveau se transfèrent bien à presque toutes les tâches de traitement d’images.

Les premières couches convolutionnelles détectent des motifs génériques (contours, formes floues et dégradés) qui apparaissent dans toutes les images naturelles, qu’il s’agisse de chats, de radiographies ou de photos satellites.

Les couches plus profondes deviennent davantage spécifiques à la tâche : elles assemblent ces contours pour former les parties des objets d’ImageNet. C’est pourquoi nous conservons généralement les premières couches et remplaçons ou réentraînons les suivantes.

L’extraction de caractéristiques gèle toutes les couches de la base préentraînée afin que leurs poids ne changent jamais. La base agit comme un extracteur de caractéristiques fixe ; vous n’entraînez qu’une nouvelle petite tête de classification au-dessus.

Utilisez cette méthode lorsque votre jeu de données est petit et similaire à ImageNet. Elle est rapide et résiste au surapprentissage, car peu de paramètres sont entraînables.

L’ajustement fin déverrouille les couches supérieures de la base et les réentraîne avec la tête, ce qui permet au réseau d’adapter ses caractéristiques de haut niveau à vos données particulières.

Utilisez cette méthode lorsque vous disposez de davantage de données ou lorsque votre domaine diffère d’ImageNet (par exemple, pour des examens médicaux). Effectuez toujours l’ajustement fin avec un taux d’apprentissage très faible afin d’éviter de détruire les poids préentraînés.

• Extraction de caractéristiques : base gelée, seule la tête est entraînée, très rapide, idéale pour des données peu nombreuses et similaires.
• Ajustement fin : les couches supérieures de la base sont déverrouillées avec la tête, méthode plus lente, idéale pour des données plus nombreuses ou différentes.

Une approche courante consiste à commencer par l’extraction de caractéristiques, puis à effectuer un ajustement fin lors d’une seconde phase, une fois la tête stabilisée.

La quantité de données dont vous disposez détermine votre stratégie :

• Quelques centaines d’images : extraction de caractéristiques uniquement (gelez tout).
• Quelques milliers : extraction de caractéristiques, puis ajustement fin des quelques couches supérieures.
• Des dizaines de milliers ou plus : ajustement fin d’une plus grande partie de la base, voire de l’ensemble du réseau.

Moins vous avez de données, plus vous devez geler de couches, car un nombre réduit de paramètres entraînables diminue le risque de surapprentissage.

Les modèles ImageNet produisent 1000 classes. Votre tâche en comporte probablement un nombre différent : vous supprimez donc la partie supérieure d’origine (include_top=False) et ajoutez votre propre tête, adaptée au nombre de vos classes.

Chaque famille de modèles préentraînés attend des entrées mises à l’échelle de la même manière que lors de son entraînement sur ImageNet. Utiliser le preprocess_input correspondant est essentiel, sans quoi la précision s’effondre.

Lors de l’extraction de caractéristiques, un taux d’apprentissage normal (par exemple 1e-3) convient, car seule la nouvelle tête est entraînée.

Lors de l’ajustement fin, vous devez descendre à une valeur minuscule comme 1e-5. Des mises à jour importantes effaceraient les poids ImageNet appris avec soin ; cet effet est appelé oubli catastrophique.

1. Chargez une base préentraînée avec include_top=False.
2. Gelez-la et entraînez une nouvelle tête (extraction de caractéristiques).
3. Déverrouillez les couches supérieures et réentraînez-les avec un taux d’apprentissage minuscule (ajustement fin).
4. Évaluez le modèle et convertissez-le pour le déploiement.

Cette approche progressive offre une grande précision, même avec des jeux de données modestes.

Testez votre compréhension des stratégies d’apprentissage par transfert.

Vous avez appris que l’apprentissage par transfert réutilise les caractéristiques préentraînées sur ImageNet (1,4 million d’images, 1000 classes). L’extraction de caractéristiques gèle la base pour les jeux de données petits et similaires ; l’ajustement fin déverrouille les couches supérieures avec un taux d’apprentissage minuscule pour les données plus nombreuses ou différentes.

Adaptez le prétraitement à la base, remplacez la tête pour vos classes et utilisez un processus progressif. Ensuite, nous mettrons cela en pratique avec VGG16 et ResNet50.