Transformer ブロックの内部
アーキテクチャ全体が組み合わさる仕組み
「Transformer ブロックの内部」はCoddyKit上の無料NLP Academyレッスンです。 これはレッスン4/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはNLP Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 NLP Academyコースには全4レッスンが含まれています。
Blockを積み重ねる
Transformerは、同じblockを何度も積み重ねて構築されます。各blockは表現を少しずつ洗練させます。🧱
2つの主要なサブレイヤー
各blockには、2つの部分があります。multi-head attentionのサブレイヤーと、それに続く各位置へ適用される小さなfeed-forward networkです。
Feed-Forward Network
feed-forwardサブレイヤーは、間に非線形関数を挟んだ2つの線形層で構成され、各tokenを独立に処理してモデルの表現力を高めます。
h = relu(x @ W1 + b1) @ W2 + b2残差接続
各サブレイヤーは入力をresidual接続で包みます。入力を出力に加え戻すことで、勾配が流れ、情報が失われるのを防ぎます。
out = x + sublayer(x)Layer Normalization
残差を加えた後、layer normalizationによって値を再スケーリングします。これにより活性化が安定し、学習速度が向上します。
out = layer_norm(x + sublayer(x))Encoder Block
encoderのstackは入力を読み取り、豊かな文脈ベクトルを構築します。self-attentionを使うため、すべてのtokenが他のすべてのtokenを参照できます。
Decoder Block
decoderは、1回に1つのtokenずつ出力を生成します。encoderからのmasked attentionとcross-attentionが追加されています。
Masked Attention
生成中は、maskingによって未来のtokenを隠します。そのためdecoderは先読みできず、次の単語を正しく予測する必要があります。
Cross-Attention
Cross-attentionによって、decoderはencoderの出力にqueryを送れます。これにより、現在書いている内容と最初に読んだ内容が結び付けられます。
深さがもたらす力
多くのblockを積み重ねることで、初期の層は単純なパターンを捉え、後の層は深い画像認識ネットワークと同じように抽象的な意味を構築します。
Encoder、Decoder、または両方
BERTはencoderだけを使い、GPTはdecoderだけを使います。翻訳モデルは両方を使います。blockは共通する構成単位です。🚀
クイックチェック
blockの構造を確認しましょう。
まとめ
Transformer blockを組み立てました。attentionとfeed-forwardを残差接続とlayer normで包み、それらを積み重ねてencoderとdecoderを構成します。✨
AI チューターと学ぶ Python — 無料
ブラウザでリアルコードを書いて実行し、24/7 の AI チューターから瞬時にサポートを受け、ウェブまたはアプリで続きから学習できます。
- コース
- 30
- レッスン
- 120
よくある質問
「Transformer ブロックの内部」レッスンは無料ですか？
はい。「Transformer ブロックの内部」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、NLP Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 NLP Academyコースには全4レッスンが含まれています。
「Transformer ブロックの内部」で何を学びますか？
アーキテクチャ全体が組み合わさる仕組み ブラウザで直接実行するハンズオンコードでNLP Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
NLP Academyを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのNLP Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン4/4です。
「Transformer ブロックの内部」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このNLP Academyレッスンでコードを書いて実行できますか？
はい。すべてのNLP Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。
このコースのすべてのレッスン
- Attention の考え方
- Self-Attention を順を追って理解する
- マルチヘッド Attention と位置情報
- Transformer ブロックの内部