GRU: Eine schlankere Alternative

Das GRU ist ein schlankerer Verwandter des LSTM. Es verfolgt dasselbe Ziel – ein langlebiges Gedächtnis –, kommt aber mit weniger Gates und Parametern aus. ⚡

Im Gegensatz zum LSTM besitzt ein GRU keinen separaten Zellzustand. Es speichert alles in einem einzigen Hidden State, den es bei jedem Schritt aktualisiert.

Ein GRU verwendet nur zwei Gates: ein Update-Gate und ein Reset-Gate. Das ist eines weniger als beim LSTM und reduziert Rechenaufwand und Speicherbedarf.

Das Update-Gate entscheidet, wie viel des alten Hidden State weitergeführt wird und wie viele neue Informationen einfließen dürfen.

Das Reset-Gate steuert, wie viel vergangener Speicher in den neuen Kandidaten einfließt. So kann die Zelle bei Bedarf veralteten Kontext ignorieren.

Mithilfe des Reset-Gates erstellt das GRU einen Kandidaten für den Hidden State – einen neuen Vorschlag dafür, wie der Speicher in diesem Schritt aussehen könnte.

Der neue Hidden State ist eine gleichmäßige Mischung: Das Update-Gate kombiniert den vorherigen Zustand mit dem Kandidaten in einer einzigen übersichtlichen Gleichung.

Mit einem Gate weniger und ohne Zellzustand besitzt ein GRU weniger Parameter. Es lässt sich oft schneller trainieren und benötigt weniger Daten, um gute Ergebnisse zu erzielen.

Bei vielen Aufgaben erreicht ein GRU die Genauigkeit eines LSTM. Die kleinere Zelle schadet nur selten, daher ist sie eine starke Standardwahl für Sequenzmodelle.

Probieren Sie für mehr Geschwindigkeit und kleine Datensätze zuerst ein GRU aus. Greifen Sie zu einem LSTM, wenn sehr lange Abhängigkeiten die zusätzliche Kontrolle über den Speicher erfordern.

In Keras ist der Austausch unkompliziert: Ersetzen Sie die LSTM-Schicht durch eine GRU-Schicht und lassen Sie den Rest Ihres Modells unverändert.

Prüfen Sie, wodurch sich ein GRU von einem LSTM unterscheidet.

Ein GRU reduziert das LSTM auf zwei Gates und einen Zustand. Es ist schneller und schlanker und liefert bei den meisten Aufgaben eine ähnliche Genauigkeit. ✅