nn.Embedding: Lernbare Wortvektoren
Eine Lookup-Tabelle, die per Gradientenabstieg trainiert wird.
nn.Embedding: Lernbare Wortvektoren ist eine kostenlose Deep Learning Academy-Lektion auf CoddyKit. Dies ist Lektion 2 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des Deep Learning Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Teile dieser Lektion wurden noch nicht übersetzt und werden auf Englisch angezeigt.
Ids Alone Are Not Enough
Token ids are just labels. The id 5 is not greater than 2 in any meaningful way, so feeding raw ids to a net misleads it.
One-Hot Is Wasteful
One way to represent ids is a giant one-hot vector, but with thousands of words it is huge, sparse, and carries no similarity.
Enter the Embedding
An embedding maps each id to a short dense vector of floats. These few numbers can encode rich meaning about the word.
It Is a Lookup Table
Think of nn.Embedding as a lookup table: row i holds the vector for token id i. Indexing the table fetches that row.
import torch.nn as nn
emb = nn.Embedding(num_embeddings=1000, embedding_dim=16)Two Key Arguments
You set num_embeddings to your vocab size and embedding_dim to how many numbers each word vector holds.
Look Up a Word
Pass a tensor of ids and the layer returns their vectors. A batch of ids becomes a batch of dense vectors instantly.
ids = torch.tensor([1, 5, 2])
vecs = emb(ids) # shape (3, 16)Output Shape Grows a Dim
The embedding adds an extra dimension. An input of shape (batch, length) becomes (batch, length, embedding_dim).
The Vectors Start Random
At first the embedding rows are random. They hold no meaning yet, just noise waiting to be shaped by training.
They Are Trainable
Embedding weights are parameters. Gradient descent nudges each word vector during training, so the table learns over time.
Choosing the Dimension
A larger embedding_dim can capture more nuance but costs memory. Small tasks use 16 to 100; large language models use far more.
Plug It Into a Model
The embedding is usually the first layer. It converts ids to vectors, then later layers process those vectors as usual.
Quick Check
How does nn.Embedding turn a token id into a vector?
Recap
nn.Embedding is a trainable lookup table mapping ids to dense vectors. It starts random and learns meaning through training. ✅
Häufig gestellte Fragen
Ist die Lektion „nn.Embedding: Lernbare Wortvektoren“ kostenlos?
Ja — der vollständige Text von „nn.Embedding: Lernbare Wortvektoren“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des Deep Learning Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „nn.Embedding: Lernbare Wortvektoren“?
Eine Lookup-Tabelle, die per Gradientenabstieg trainiert wird. Du übst Deep Learning Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um Deep Learning Academy zu starten?
Keine Vorkenntnisse erforderlich. Deep Learning Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 2 von 4.
Wie lange dauert die Lektion „nn.Embedding: Lernbare Wortvektoren“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser Deep Learning Academy-Lektion Code schreiben und ausführen?
Ja. Jede Deep Learning Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Tokenisieren und ein Vokabular erstellen
- nn.Embedding: Lernbare Wortvektoren
- Warum Embeddings Bedeutung erfassen
- Einen Textklassifikator trainieren