Концепции и стратегии трансферного обучения

Перенос обучения использует модель, обученную на большом наборе данных, как отправную точку для новой связанной задачи. Вместо того чтобы изучать визуальные признаки с нуля, Вы используете признаки, которым сеть уже научилась.

Это значительно сокращает объём данных и вычислительные ресурсы, необходимые для достижения высокой точности.

Большинство предварительно обученных моделей компьютерного зрения обучены на наборе ImageNet: примерно 1,4 миллиона изображений, разделённых на 1000 классов.

В процессе обучения сеть осваивает иерархию признаков: границы и цвета на ранних слоях, текстуры на средних и части объектов на верхних. Эти низкоуровневые признаки хорошо переносятся почти на любую задачу анализа изображений.

Первые свёрточные слои обнаруживают общие закономерности (границы, пятна, градиенты), которые встречаются на каждом естественном изображении — будь то кошки, рентгеновские снимки или фотографии со спутника.

Глубокие слои становятся более специфичными для задачи (они объединяют эти границы в части объектов ImageNet). Поэтому обычно сохраняют ранние слои, а поздние заменяют или переобучают.

Извлечение признаков замораживает каждый слой предварительно обученной базовой модели, поэтому её веса не изменяются. Базовая модель работает как фиксированный экстрактор признаков; Вы обучаете только небольшую новую классификационную голову.

Используйте этот подход, когда набор данных небольшой и похож на ImageNet. Он работает быстро и снижает риск переобучения, поскольку обучаемых параметров мало.

Дообучение размораживает верхние слои базовой модели и переобучает их вместе с головой, позволяя сети адаптировать высокоуровневые признаки к Вашим данным.

Используйте этот подход, когда у Вас есть больше данных или Ваша предметная область отличается от ImageNet (например, медицинские снимки). Всегда выполняйте дообучение с очень низкой скоростью обучения, чтобы не разрушить предварительно обученные веса.

• Извлечение признаков: базовая модель заморожена, обучается только голова, очень быстро, лучше всего подходит для небольших и похожих данных.
• Дообучение: верхние слои базовой модели разморожены вместе с головой, работает медленнее, лучше всего подходит для больших или отличающихся данных.

Распространённый подход — сначала выполнить извлечение признаков, а затем на втором этапе провести дообучение, когда голова стабилизируется.

Выбор стратегии зависит от объёма доступных данных:

• Несколько сотен изображений: только извлечение признаков (заморозьте всё).
• Несколько тысяч: извлечение признаков, затем дообучение нескольких верхних слоёв.
• Десятки тысяч и больше: дообучение большей части базовой модели, возможно, всей сети.

Чем меньше данных, тем больше слоёв следует заморозить, поскольку меньшее количество обучаемых параметров снижает риск переобучения.

Модели ImageNet выдают 1000 классов. В Вашей задаче, вероятно, используется другое количество, поэтому удалите исходный верхний слой (include_top=False) и добавьте собственную голову, рассчитанную на Ваши классы.

Каждое семейство предварительно обученных моделей ожидает, что входные данные будут масштабированы так же, как при обучении на ImageNet. Использование соответствующей функции preprocess_input необходимо, иначе точность резко упадёт.

При извлечении признаков подходит обычная скорость обучения (например, 1e-3), поскольку обучается только недавно созданная голова.

При дообучении необходимо снизить её до очень малого значения, например 1e-5. Большие обновления могут стереть тщательно выученные веса ImageNet — этот эффект называется катастрофическим забыванием.

1. Загрузите предварительно обученную базовую модель с параметром include_top=False.
2. Заморозьте её и обучите новую голову (извлечение признаков).
3. Разморозьте верхние слои и переобучите их с очень низкой скоростью обучения (дообучение).
4. Оцените модель и преобразуйте её для развёртывания.

Такой поэтапный подход обеспечивает высокую точность даже на наборах данных умеренного размера.

Проверьте, насколько Вы поняли стратегии переноса обучения.

Вы узнали, что перенос обучения повторно использует признаки, предварительно обученные на ImageNet (1,4 млн изображений, 1000 классов). При извлечении признаков базовая модель замораживается для небольших и похожих наборов данных; при дообучении верхние слои размораживаются и обучаются с очень низкой скоростью для больших или отличающихся данных.

Согласуйте предварительную обработку с базовой моделью, замените голову в соответствии с Вашими классами и используйте поэтапный рабочий процесс. Далее Вы реализуете это в коде с VGG16 и ResNet50.