Conceptos y estrategias de aprendizaje por transferencia

El aprendizaje por transferencia reutiliza un modelo entrenado con un conjunto de datos grande como punto de partida para una tarea nueva y relacionada. En lugar de aprender las características visuales desde cero, se aprovechan las características que la red ya ha aprendido.

Esto reduce drásticamente los datos y la capacidad de cómputo necesarios para alcanzar una precisión alta.

La mayoría de los modelos de visión preentrenados se entrenan con ImageNet: aproximadamente 1,4 millones de imágenes distribuidas en 1000 clases.

Durante este entrenamiento, la red aprende una jerarquía de características: bordes y colores en las primeras capas, texturas en las intermedias y partes de objetos cerca de las capas superiores. Estas características de bajo nivel se transfieren bien a casi cualquier tarea de procesamiento de imágenes.

Las primeras capas convolucionales detectan patrones genéricos (bordes, manchas y gradientes) que aparecen en todas las imágenes naturales, ya sean de gatos, radiografías o fotografías satelitales.

Las capas más profundas se vuelven más específicas de la tarea, ya que ensamblan esos bordes para formar partes de objetos de ImageNet. Por eso normalmente conservamos las primeras capas y reemplazamos o volvemos a entrenar las posteriores.

La extracción de características congela todas las capas de la base preentrenada, por lo que sus pesos nunca cambian. La base actúa como un extractor de características fijo; solo se entrena una nueva capa de clasificación pequeña encima.

Use esta estrategia cuando su conjunto de datos sea pequeño y similar a ImageNet. Es rápida y reduce el sobreajuste porque hay pocos parámetros entrenables.

El ajuste fino descongela las capas superiores de la base y las vuelve a entrenar junto con la capa de clasificación, lo que permite que la red adapte sus características de alto nivel a sus datos específicos.

Use esta estrategia cuando tenga más datos o su dominio sea diferente de ImageNet (por ejemplo, exploraciones médicas). Realice siempre el ajuste fino con una tasa de aprendizaje muy baja para evitar destruir los pesos preentrenados.

• Extracción de características: base congelada, solo se entrena la capa de clasificación, muy rápida y adecuada para datos pequeños y similares.
• Ajuste fino: se descongelan las capas superiores de la base y se entrena también la capa de clasificación; es más lento y adecuado para datos más abundantes o diferentes.

Un patrón habitual consiste en realizar primero la extracción de características y después el ajuste fino en una segunda fase, cuando la capa de clasificación ya se ha estabilizado.

La cantidad de datos disponible determina su estrategia:

• Unos cientos de imágenes: solo extracción de características (congele todo).
• Unos pocos miles: extracción de características y después ajuste fino de las pocas capas superiores.
• Decenas de miles o más: ajuste fino de una parte mayor de la base, posiblemente de toda la red.

Con menos datos, congele más capas, ya que un menor número de parámetros entrenables reduce el riesgo de sobreajuste.

Los modelos de ImageNet generan 1000 clases. Probablemente su tarea tenga un número diferente, por lo que debe eliminar la capa superior original (include_top=False) y añadir una capa propia con el tamaño correspondiente a sus clases.

Cada familia de modelos preentrenados espera que las entradas se escalen de la misma forma que durante el entrenamiento con ImageNet. Es esencial usar el preprocess_input correspondiente; de lo contrario, la precisión se desploma.

Durante la extracción de características, una tasa de aprendizaje normal (por ejemplo, 1e-3) es adecuada porque solo se entrena la capa de clasificación nueva.

Durante el ajuste fino debe reducirla a un valor muy pequeño, como 1e-5. Las actualizaciones grandes borrarían los pesos de ImageNet aprendidos cuidadosamente; este efecto se denomina olvido catastrófico.

1. Cargue una base preentrenada con include_top=False.
2. Congélela y entrene una nueva capa de clasificación (extracción de características).
3. Descongele las capas superiores y vuelva a entrenar con una tasa de aprendizaje muy pequeña (ajuste fino).
4. Evalúe el modelo y conviértalo para su puesta en producción.

Este enfoque por etapas ofrece una precisión alta incluso con conjuntos de datos modestos.

Compruebe su comprensión de las estrategias de aprendizaje por transferencia.

Ha aprendido que el aprendizaje por transferencia reutiliza características preentrenadas con ImageNet (1,4 millones de imágenes y 1000 clases). La extracción de características congela la base para conjuntos de datos pequeños o similares; el ajuste fino descongela las capas superiores con una tasa de aprendizaje muy pequeña para datos más abundantes o diferentes.

Adapte el preprocesamiento a la base, reemplace la capa de clasificación para sus clases y use un flujo de trabajo por etapas. A continuación, lo pondremos en práctica con VGG16 y ResNet50.