Aktivierungsfunktionen

Aktivierungsfunktionen sind ein wesentlicher Bestandteil neuronaler Netzwerke. Sie bestimmen anhand der empfangenen Eingabe, ob ein Neuron aktiviert werden soll.

Ohne Aktivierungsfunktionen würde sich das neuronale Netzwerk wie ein lineares Modell verhalten, was seine Fähigkeit zum Erlernen komplexer Muster einschränken würde.

Arten von Aktivierungsfunktionen

Zu den gängigen Arten von Aktivierungsfunktionen gehören:

• Sigmoid: Gibt Werte zwischen 0 und 1 aus.
• ReLU (Rectified Linear Unit): Gibt die Eingabe aus, wenn sie positiv ist, andernfalls 0.
• Softmax: Wandelt Ausgaben für Klassifikationsaufgaben in Wahrscheinlichkeiten um.

Sigmoid-Funktion

Die Sigmoid-Funktion bildet jeden Eingabewert auf einen Bereich zwischen 0 und 1 ab und eignet sich daher für die binäre Klassifikation.

Formel:

σ(x) = 1 / (1 + e^(-x))

Sie komprimiert große Eingabewerte und gibt Werte nahe 0 oder 1 aus.

ReLU-Funktion

Die ReLU-Funktion (Rectified Linear Unit) ist definiert als:

ReLU(x) = max(0, x)

Für negative Eingaben gibt sie 0 und für positive Eingaben den Eingabewert selbst aus. ReLU ist recheneffizient und hilft, das Problem des verschwindenden Gradienten zu beheben.

Softmax-Funktion

Die Softmax-Funktion wird in der Ausgabeschicht für die Mehrklassenklassifikation verwendet. Sie wandelt Rohwerte in Wahrscheinlichkeiten um:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Alle Ausgabewerte werden so normalisiert, dass ihre Summe 1 ergibt.

Die richtige Aktivierungsfunktion auswählen

Die Wahl der Aktivierungsfunktion hängt von der Aufgabe ab:

• Sigmoid: Für die binäre Klassifikation.
• ReLU: Für verborgene Schichten in tiefen Netzwerken.
• Softmax: Für Mehrklassenklassifikationsprobleme.

Vorteile von Aktivierungsfunktionen

Aktivierungsfunktionen ermöglichen es neuronalen Netzwerken:

• Komplexe, nichtlineare Muster zu lernen.
• Eingaben effektiv voneinander zu unterscheiden.
• Sich an verschiedene Datentypen und Aufgaben anzupassen.

Herausforderungen bei Aktivierungsfunktionen

Zu den Problemen gehören:

• Sigmoid: Kann während des Trainings zu verschwindenden Gradienten führen.
• ReLU: Kann zu „toten Neuronen“ führen, bei denen einige Neuronen aufhören zu lernen.
• Softmax: Ist bei großen Ausgabemengen rechenintensiv.

Zusammenfassung und nächste Schritte

In dieser Lektion haben wir:

• Aktivierungsfunktionen wie Sigmoid, ReLU und Softmax untersucht.
• Ihre Rollen und Anwendungsfälle in neuronalen Netzwerken kennengelernt.
• Ihre Vorteile und Herausforderungen besprochen.

Als Nächstes erstellen wir ein einfaches Feedforward-Netzwerk und verstehen dessen Struktur und Funktionsweise.