マルチヘッド Attention と位置情報

1つのattention headが一度に追跡できる関係は、1種類だけです。実際の言語では、多くのパターンを同時に捉える必要があります。🧠

Multi-head attentionは、複数のattention計算を並列に実行します。それぞれが固有の学習済み射影と、独自の注目対象を持ちます。

あるheadは主語と動詞のつながりを追跡し、別のheadは代名詞を追跡するかもしれません。これらを組み合わせることで、文をはるかに豊かに捉えられます。

モデルはベクトルのサイズを複数のheadに分割するため、各headはより小さな部分空間で処理します。計算量の合計はおおむね変わりません。

各headが出力を生成したら、それらを連結し、さらに1つの線形層に通して、それぞれの視点を組み合わせます。

Self-attentionは入力を集合として扱うため、それだけでは「dog bites man」と「man bites dog」を区別できません。つまり順序を認識できないのです。

これを解決するために、各単語へpositional encodingを注入し、系列の中で各tokenがどこにあるかをモデルに知らせます。

元のTransformerは、異なる周波数の固定された正弦波と余弦波を使い、各位置に固有で滑らかな特徴を与えます。

位置ベクトルは単語のembeddingの末尾に付け足すのではなく、embeddingに加算します。そのため各tokenは、意味と位置の両方を同時に持ちます。

現代の多くのモデルは、固定された波の代わりに学習済みの位置embeddingを使います。これらは他の要素と一緒に学習され、柔軟に対応できます。

Multi-head attentionは多くの関係を捉え、位置encodingは順序を取り戻します。これらが組み合わさることで、Transformerは系列を本当に理解できるようになります。✨

multi-head attentionが多くの関係を並列に捉え、位置encodingがモデルに順序の感覚を与える仕組みを学びました。🎯