記憶を制御するゲート

単純なRNNは、はるか前の情報を記憶するのが苦手です。LSTMは、保持する情報と忘れる情報を慎重に管理して、この問題を解決するために作られました。 🧠

LSTMは特別なセル状態を持ちます。これは各ステップをまっすぐ通り抜ける記憶の経路で、長いシーケンスでも重要な信号を保ちます。

仕組みの要はゲートです。これは学習によって調整される小さなスイッチで、各時刻に記憶へ何を追加し、何を保持し、何を捨てるかを決めます。

各ゲートはsigmoidを使って0から1までの値を出力します。これは調光器のように、一部の情報を通し、残りを遮断します。

忘却ゲートは新しい入力を見て、古い記憶をどれだけ消すかを決めます。0なら消去し、1なら完全に保持します。

入力ゲートは、新しい情報をセル状態にどれだけ書き込むかを制御するため、有用な新しい信号だけが保存されます。

候補ベクトルは、どのような新しい内容を記憶に加えるかを提案します。その後、入力ゲートが実際に追加する量を調整します。

新しいセル状態は、忘却ゲートによって保持された古い記憶と、入力ゲートを通った新しい候補値を組み合わせたものです。

出力ゲートは、セル状態のどの部分を、次のステップや上位層へ渡す可視の隠れ状態にするかを決めます。

ゲートによってセル状態の変化がほぼ加算的になるため、勾配は消失せずに多くのステップを逆向きに流れます。これがLSTMが長い文脈を記憶できる仕組みです。

LSTMには、1本の記憶経路を守る3つのゲートがあります。忘却、入力、出力の各ゲートは、学習中にデータから学習されます。

LSTMは、忘却ゲート、入力ゲート、出力ゲートによってセル状態を保護します。これらのスイッチが長距離の記憶を保ち、通常のRNNの弱点を補います。 ✅