Deep Learning Academy · レッスン

nn.Embedding：学習可能な単語ベクトル

勾配降下法で学習するルックアップテーブルです

「nn.Embedding：学習可能な単語ベクトル」はCoddyKit上の無料Deep Learning Academyレッスンです。これはレッスン2/4です。下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。これはDeep Learning Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 Deep Learning Academyコースには全4レッスンが含まれています。

このレッスンの一部はまだ翻訳されておらず、英語で表示されています。

Ids Alone Are Not Enough

Token ids are just labels. The id 5 is not greater than 2 in any meaningful way, so feeding raw ids to a net misleads it.

One-Hot Is Wasteful

One way to represent ids is a giant one-hot vector, but with thousands of words it is huge, sparse, and carries no similarity.

Enter the Embedding

An embedding maps each id to a short dense vector of floats. These few numbers can encode rich meaning about the word.

It Is a Lookup Table

Think of nn.Embedding as a lookup table: row i holds the vector for token id i. Indexing the table fetches that row.

import torch.nn as nn
emb = nn.Embedding(num_embeddings=1000, embedding_dim=16)

Two Key Arguments

You set num_embeddings to your vocab size and embedding_dim to how many numbers each word vector holds.

Look Up a Word

Pass a tensor of ids and the layer returns their vectors. A batch of ids becomes a batch of dense vectors instantly.

ids = torch.tensor([1, 5, 2])
vecs = emb(ids)  # shape (3, 16)

Output Shape Grows a Dim

The embedding adds an extra dimension. An input of shape (batch, length) becomes (batch, length, embedding_dim).

The Vectors Start Random

At first the embedding rows are random. They hold no meaning yet, just noise waiting to be shaped by training.

They Are Trainable

Embedding weights are parameters. Gradient descent nudges each word vector during training, so the table learns over time.

Choosing the Dimension

A larger embedding_dim can capture more nuance but costs memory. Small tasks use 16 to 100; large language models use far more.

Plug It Into a Model

The embedding is usually the first layer. It converts ids to vectors, then later layers process those vectors as usual.

Quick Check

How does nn.Embedding turn a token id into a vector?

Recap

nn.Embedding is a trainable lookup table mapping ids to dense vectors. It starts random and learns meaning through training. ✅

よくある質問

「nn.Embedding：学習可能な単語ベクトル」レッスンは無料ですか？

はい。「nn.Embedding：学習可能な単語ベクトル」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、Deep Learning Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 Deep Learning Academyコースには全4レッスンが含まれています。

「nn.Embedding：学習可能な単語ベクトル」で何を学びますか？

勾配降下法で学習するルックアップテーブルですブラウザで直接実行するハンズオンコードでDeep Learning Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。

Deep Learning Academyを始めるのに経験は必要ですか？

事前経験は必要ありません。CoddyKitのDeep Learning Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。これはレッスン2/4です。

「nn.Embedding：学習可能な単語ベクトル」レッスンにはどのくらい時間がかかりますか？

ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。

このDeep Learning Academyレッスンでコードを書いて実行できますか？

はい。すべてのDeep Learning Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。

このコースのすべてのレッスン

← Deep Learning Academyに戻る