LeNet und AlexNet: Die ersten Erfolge

Lange vor den heutigen Giganten bewiesen zwei kleine Netzwerke, dass gelernte Faltungen Bilder verarbeiten konnten. Lernen wir die Pioniere kennen.

1998 entwickelte Yann LeCun LeNet-5, um handgeschriebene Ziffern auf Schecks zu erkennen. Es war winzig, funktionierte aber hervorragend.

Das Muster von LeNet war klar: Faltungs- und Pooling-Schichten abwechseln und anschließend mit einigen dichten Schichten abschließen. Dieses Rezept wirkt bis heute nach.

Die entscheidende Idee war, dass LeNet seine Filter mithilfe von Backpropagation aus Daten lernte, anstatt dass ein Entwickler Kantendetektoren von Hand programmierte.

Daten und Rechenleistung waren knapp, daher stagnierte der Fortschritt jahrelang. Die Welt war noch nicht bereit, diese Idee zu skalieren.

2012 deklassierte AlexNet die Konkurrenz im ImageNet-Wettbewerb, halbierte die Fehlerrate und entfachte den modernen Boom des Deep Learning.

AlexNet war ein skaliertes LeNet: mehr Schichten, deutlich mehr Filter und Millionen von Parametern, die nach Daten verlangten.

AlexNet ersetzte langsame, sättigende Aktivierungsfunktionen durch das schnelle, einfache ReLU. Dadurch konnte ein tiefes Netz in angemessener Zeit trainiert werden.

Es lief parallel auf zwei GPUs. Diese Hardwareentscheidung machte aus einer alten Idee ein praktisches, erfolgreiches System.

Um das Auswendiglernen zu verhindern, fügte AlexNet in seinen dichten Schichten dropout ein, das während des Trainings zufällig Neuronen deaktiviert.

Beide Netze bestehen aus Stapeln eines zentralen Bausteins. Hier sehen Sie eine einzelne Conv2d-Schicht, aus der alles aufgebaut ist.

LeNet zeigte, dass CNNs lernen können, und AlexNet bewies, dass sie auch im großen Maßstab erfolgreich sein können. Zusammen läuteten sie die Ära ein, die Sie gerade kennenlernen. Ein guter Anfang!