LeNet e AlexNet: i primi successi

Molto prima dei giganti di oggi, due piccole reti hanno dimostrato che le convoluzioni apprese potevano leggere le immagini. Conosciamo questi pionieri.

Nel 1998 Yann LeCun ha creato LeNet-5 per riconoscere le cifre scritte a mano sugli assegni. Era minuscola, ma funzionava magnificamente.

Lo schema di LeNet era chiaro: alternare layer di convoluzione e pooling, per poi concludere con alcuni layer densi. Questa ricetta è ancora attuale.

L'idea fondamentale era che LeNet imparasse i propri filtri dai dati tramite backpropagation, invece di usare rilevatori di bordi codificati manualmente da un tecnico.

I dati e la potenza di calcolo erano scarsi, quindi i progressi rallentarono per anni. Il mondo non era ancora pronto a portare questa idea su scala più ampia.

Nel 2012 AlexNet sbaragliò la concorrenza nel contest ImageNet, dimezzando il tasso di errore e dando inizio al boom moderno del deep learning.

AlexNet era una LeNet ampliata: più layer, molti più filtri e milioni di parametri che richiedevano grandi quantità di dati.

AlexNet sostituì le lente attivazioni saturanti con la ReLU, semplice e veloce, permettendo di addestrare una rete profonda in tempi ragionevoli.

Funzionava su due GPU in parallelo. Questa scelta hardware trasformò una vecchia idea in un sistema pratico e vincente.

Per evitare che memorizzasse i dati, AlexNet aggiunse il dropout nei layer densi, disattivando casualmente i neuroni durante l'addestramento.

Entrambe le reti sono composte da una serie dello stesso blocco fondamentale. Ecco un singolo layer Conv2d, il mattone su cui si basa tutto.

LeNet ha dimostrato che le CNN potevano imparare, mentre AlexNet ha provato che potevano vincere su larga scala. Insieme hanno inaugurato l'era che sta studiando. Un ottimo inizio!