Zamrozić backbone i trenować head

Po co trenować od zera? Model wytrenowany już na milionach obrazów nauczył się przydatnych cech. Uczenie transferowe pozwala wykorzystać tę wiedzę w Państwa zadaniu. 🧠

Wstępnie wytrenowany model składa się z dwóch części: backbone'u, który wyodrębnia ogólne cechy, oraz głowicy, która tworzy końcową predykcję dla pierwotnego zadania.

Najprostszy przepis: zamrozić backbone, aby pozostał bez zmian, a następnie podmienić głowicę na nową i trenować tylko tę część na własnych etykietach.

Zacznij od modelu, który ma już dobre wagi. torchvision udostępnia popularne architektury za pomocą jednego wywołania.

Aby zamrozić warstwę, ustaw requires_grad na False. PyTorch pominie wtedy obliczanie dla niej gradientów, więc jej wagi nigdy się nie zmienią.

Zamrożenie backbone'u zachowuje wyuczone z trudem cechy i oznacza znacznie mniej wag do aktualizowania. Dzięki temu trenowanie jest szybsze i działa nawet przy niewielkiej ilości danych.

Stara głowica przewiduje niewłaściwe klasy. Zastąp ją nową warstwą Linear o rozmiarze dopasowanym do liczby klas.

Nowo utworzona warstwa automatycznie otrzymuje ustawienie requires_grad równe True. Dzięki temu uczyć się będzie tylko głowica, podczas gdy zamrożony backbone pozostanie bez zmian.

Przekaż do optymalizatora wyłącznie parametry głowicy. Aktualizowanie tylko tych kilku wag sprawia, że to podejście jest tak tanie.

Przy zamrożonych wagach backbone po prostu zamienia każdy obraz w bogaty wektor cech. Głowica uczy się odczytywać te cechy.

Zamrożenie backbone'u i trenowanie głowicy sprawdza się idealnie przy małym zbiorze danych lub ograniczonych zasobach obliczeniowych. Uzyskują Państwo dobre wyniki w kilka minut zamiast w kilka dni.

Nauczyli się Państwo korzystać z wstępnie wytrenowanego backbone'u, zamrażać go, dołączać nową głowicę i trenować tylko tę głowicę. Szybko, tanio i świetnie przy małej ilości danych. 🎯