LeNet i AlexNet: pierwsze sukcesy

Na długo przed dzisiejszymi gigantami dwie niewielkie sieci udowodniły, że wyuczone konwolucje mogą analizować obrazy. Poznajmy pionierów.

W 1998 roku Yann LeCun zbudował LeNet-5 do rozpoznawania odręcznie pisanych cyfr na czekach. Sieć była niewielka, ale działała znakomicie.

Schemat LeNet był przejrzysty: naprzemiennie warstwy konwolucyjne i pooling, a na końcu kilka warstw gęstych. Ten schemat nadal jest widoczny we współczesnych rozwiązaniach.

Najważniejszym pomysłem było to, że LeNet uczył się filtrów na podstawie danych za pomocą backpropagation, zamiast korzystać z ręcznie zaprogramowanych przez inżyniera detektorów krawędzi.

Danych i mocy obliczeniowej było niewiele, więc przez lata postęp się zatrzymał. Świat nie był jeszcze gotowy, aby zwiększyć skalę tego pomysłu.

W 2012 roku AlexNet zdeklasował konkurencję w konkursie ImageNet, zmniejszając współczynnik błędów o połowę i zapoczątkowując erę nowoczesnego deep learningu.

AlexNet był powiększoną wersją LeNet: miał więcej warstw, znacznie więcej filtrów i miliony parametrów wymagających dużej ilości danych.

AlexNet zastąpił powolne, nasycające się funkcje aktywacji szybką i prostą funkcją ReLU, dzięki czemu głęboką sieć można było trenować w rozsądnym czasie.

Sieć działała równolegle na dwóch procesorach GPU. Ten wybór sprzętu zmienił stary pomysł w praktyczny, zwycięski system.

Aby powstrzymać zapamiętywanie danych, AlexNet wykorzystywał dropout w warstwach gęstych, losowo wyłączając neurony podczas uczenia.

Obie sieci są stosami jednego podstawowego bloku. Oto pojedyncza warstwa Conv2d — element, z którego zbudowane jest wszystko.

LeNet pokazał, że sieci CNN potrafią się uczyć, a AlexNet udowodnił, że mogą zwyciężać na dużą skalę. Razem zapoczątkowały erę, którą właśnie poznajesz. To dobry początek!