Koncepcje i strategie uczenia transferowego

Uczenie transferowe wykorzystuje model wytrenowany na dużym zbiorze danych jako punkt wyjścia dla nowego, powiązanego zadania. Zamiast uczyć się cech wizualnych od podstaw, korzystasz z cech, których sieć nauczyła się wcześniej.

Znacznie zmniejsza to ilość danych i moc obliczeniową potrzebne do osiągnięcia wysokiej dokładności.

Większość wstępnie wytrenowanych modeli wizyjnych jest trenowana na zbiorze ImageNet, zawierającym około 1,4 miliona obrazów należących do 1000 klas.

Podczas tego treningu sieć uczy się hierarchii cech: krawędzi i kolorów we wczesnych warstwach, tekstur w warstwach pośrednich oraz części obiektów w warstwach wyższych. Te cechy niskiego poziomu dobrze przenoszą się do niemal każdego zadania związanego z obrazami.

Pierwsze warstwy konwolucyjne wykrywają ogólne wzorce (krawędzie, plamy i gradienty), które występują na każdym naturalnym obrazie — niezależnie od tego, czy przedstawia on koty, zdjęcia rentgenowskie, czy fotografie satelitarne.

Głębsze warstwy stają się bardziej specyficzne dla zadania (łączą te krawędzie w części obiektów z ImageNet). Dlatego zwykle zachowujemy wczesne warstwy, a późniejsze zastępujemy lub trenujemy ponownie.

Ekstrakcja cech zamraża każdą warstwę wstępnie wytrenowanej bazy, więc jej wagi nigdy się nie zmieniają. Baza działa jako stały ekstraktor cech; trenujesz tylko niewielką nową głowicę klasyfikacyjną na jej wyjściu.

Użyj tej strategii, gdy zbiór danych jest mały i podobny do ImageNet. Jest szybka i ogranicza przeuczenie, ponieważ trenowanych jest niewiele parametrów.

Dostrajanie odblokowuje górne warstwy bazy i trenuje je ponownie razem z głowicą, pozwalając sieci dostosować cechy wysokiego poziomu do konkretnych danych.

Użyj tej strategii, gdy masz więcej danych lub Twoja dziedzina różni się od ImageNet (np. obrazy medyczne). Zawsze dostrajaj model przy bardzo małym współczynniku uczenia, aby uniknąć zniszczenia wstępnie wytrenowanych wag.

• Ekstrakcja cech: baza zamrożona, trenowana jest tylko głowica, bardzo szybko, najlepsze rozwiązanie dla małych i podobnych danych.
• Dostrajanie: odblokowane górne warstwy bazy oraz głowica, wolniej, najlepsze rozwiązanie dla większych lub odmiennych danych.

Popularny schemat polega na rozpoczęciu od ekstrakcji cech, a następnie dostrajaniu w drugiej fazie, gdy głowica już się ustabilizuje.

To, ile masz danych, decyduje o wyborze strategii:

• Kilkset obrazów: tylko ekstrakcja cech (zamroź wszystko).
• Parę tysięcy: ekstrakcja cech, a następnie dostrajanie kilku najwyższych warstw.
• Dziesiątki tysięcy lub więcej: dostrajanie większej części bazy, a być może całej sieci.

Mniejsza ilość danych oznacza, że należy zamrozić więcej warstw, ponieważ mniejsza liczba trenowanych parametrów ogranicza ryzyko przeuczenia.

Modele ImageNet zwracają 1000 klas. Twoje zadanie prawdopodobnie ma inną ich liczbę, dlatego usuń oryginalną górną część (include_top=False) i dołącz własną głowicę o rozmiarze dopasowanym do liczby klas.

Każda rodzina wstępnie wytrenowanych modeli oczekuje danych wejściowych przeskalowanych w taki sam sposób, jak podczas treningu na ImageNet. Użycie pasującej funkcji preprocess_input jest niezbędne, ponieważ w przeciwnym razie dokładność gwałtownie spadnie.

Podczas ekstrakcji cech zwykły współczynnik uczenia (np. 1e-3) jest odpowiedni, ponieważ trenowana jest tylko nowa głowica.

Podczas dostrajania należy zmniejszyć go do bardzo małej wartości, na przykład 1e-5. Duże aktualizacje zatarłyby starannie wyuczone wagi ImageNet — zjawisko to nazywa się katastrofalnym zapominaniem.

1. Wczytaj wstępnie wytrenowaną bazę z użyciem include_top=False.
2. Zamroź ją i wytrenuj nową głowicę (ekstrakcja cech).
3. Odblokuj górne warstwy i trenuj ponownie przy bardzo małym współczynniku uczenia (dostrajanie).
4. Oceń model i przekonwertuj go do wdrożenia.

To etapowe podejście zapewnia wysoką dokładność nawet przy umiarkowanych zbiorach danych.

Sprawdź swoje rozumienie strategii uczenia transferowego.

Nauczyłeś się, że uczenie transferowe wykorzystuje cechy wstępnie wytrenowane na ImageNet (1,4 miliona obrazów, 1000 klas). Ekstrakcja cech zamraża bazę dla małych i podobnych zbiorów danych, natomiast dostrajanie odblokowuje górne warstwy przy bardzo małym współczynniku uczenia w przypadku większych lub odmiennych danych.

Dopasuj wstępne przetwarzanie do bazy, zastąp głowicę głowicą odpowiednią dla swoich klas i zastosuj etapowy przebieg pracy. Następnie przełożymy to na kod z użyciem VGG16 i ResNet50.