Warum Nichtlinearität echte Leistungsfähigkeit freisetzt

Eine neuronale Schicht ist lediglich eine gewichtete Summe: Sie skaliert und verschiebt ihre Eingaben. Für sich genommen ist diese Operation vollständig linear. 📏

Der Haken: Zwei lineare Schichten ergeben zusammen nur eine weitere lineare Schicht. Egal, wie viele Sie stapeln, das Ergebnis bleibt eine einzige gerade Linie.

Zwei lineare Schritte lassen sich zu einem zusammenfassen. Das kombinierte Gewicht ist einfach das Produkt der beiden Gewichtsmatrizen, daher bringt Tiefe hier keinen Vorteil.

Eine Aktivierungsfunktion biegt das Signal zwischen den Schichten. Diese kleine Knickstelle verhindert, dass die Schichten zu einer einzigen zusammenfallen.

Sobald Sie eine Nichtlinearität einfügen, kann jede Schicht die Daten anders umformen. Jetzt erhöht Tiefe tatsächlich die Leistungsfähigkeit, statt dieselbe Abbildung zu wiederholen.

Mit Nichtlinearität kann Ihr Netz gekrümmte Entscheidungsgrenzen herausarbeiten. Ein einfaches lineares Modell kann immer nur einen geraden Schnitt zeichnen.

Genügend Neuronen zusammen mit einer Nichtlinearität können nahezu jede Funktion approximieren. Das ist die bekannte Idee der universellen Approximation. ✨

Sie platzieren die Aktivierung direkt nach jeder linearen Schicht innerhalb des Forward Pass. Sie transformiert die Ausgabe der Schicht, bevor die nächste Schicht sie verarbeitet.

Bilder, Sprache und Text sind stark nichtlineare Muster. Nur ein Netz, das sich biegen kann, hat Aussicht darauf, sie gut zu modellieren.

Wenn Sie die Aktivierung weglassen, wird Ihr aufwendiges tiefes Modell unbemerkt zu einer einzigen linearen Regression in Verkleidung. Die Tiefe ist dann verschenkt.

Normalerweise verwenden Sie nach jeder verborgenen Schicht dieselbe Aktivierung und wählen anschließend am Ausgang eine spezielle Aktivierung passend zu Ihrer Aufgabe.

Gestapelte lineare Schichten bleiben linear und können daher keine Kurven modellieren. Das Einfügen einer Nichtlinearität erschließt die Vorteile von Tiefe und ermöglicht es Ihrem Netz, komplexe Muster aus der realen Welt zu lernen. 🎯