nn.Embedding: Vetores de Palavras Aprendíveis
Uma tabela de consulta treinada por descida do gradiente
nn.Embedding: Vetores de Palavras Aprendíveis é uma aula grátis de Deep Learning Academy no CoddyKit. Esta é a aula 2 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de Deep Learning Academy, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de Deep Learning Academy inclui 4 aulas no total.
Partes desta aula ainda não foram traduzidas e aparecem em inglês.
Ids Alone Are Not Enough
Token ids are just labels. The id 5 is not greater than 2 in any meaningful way, so feeding raw ids to a net misleads it.
One-Hot Is Wasteful
One way to represent ids is a giant one-hot vector, but with thousands of words it is huge, sparse, and carries no similarity.
Enter the Embedding
An embedding maps each id to a short dense vector of floats. These few numbers can encode rich meaning about the word.
It Is a Lookup Table
Think of nn.Embedding as a lookup table: row i holds the vector for token id i. Indexing the table fetches that row.
import torch.nn as nn
emb = nn.Embedding(num_embeddings=1000, embedding_dim=16)Two Key Arguments
You set num_embeddings to your vocab size and embedding_dim to how many numbers each word vector holds.
Look Up a Word
Pass a tensor of ids and the layer returns their vectors. A batch of ids becomes a batch of dense vectors instantly.
ids = torch.tensor([1, 5, 2])
vecs = emb(ids) # shape (3, 16)Output Shape Grows a Dim
The embedding adds an extra dimension. An input of shape (batch, length) becomes (batch, length, embedding_dim).
The Vectors Start Random
At first the embedding rows are random. They hold no meaning yet, just noise waiting to be shaped by training.
They Are Trainable
Embedding weights are parameters. Gradient descent nudges each word vector during training, so the table learns over time.
Choosing the Dimension
A larger embedding_dim can capture more nuance but costs memory. Small tasks use 16 to 100; large language models use far more.
Plug It Into a Model
The embedding is usually the first layer. It converts ids to vectors, then later layers process those vectors as usual.
Quick Check
How does nn.Embedding turn a token id into a vector?
Recap
nn.Embedding is a trainable lookup table mapping ids to dense vectors. It starts random and learns meaning through training. ✅
Perguntas Frequentes
A aula “nn.Embedding: Vetores de Palavras Aprendíveis” é grátis?
Sim — o texto completo de “nn.Embedding: Vetores de Palavras Aprendíveis” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de Deep Learning Academy, atualize para CoddyKit PRO. O curso de Deep Learning Academy inclui 4 aulas no total.
O que vou aprender em “nn.Embedding: Vetores de Palavras Aprendíveis”?
Uma tabela de consulta treinada por descida do gradiente Você pratica Deep Learning Academy com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar Deep Learning Academy?
Nenhuma experiência prévia é necessária. Deep Learning Academy no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 2 de 4.
Quanto tempo leva a aula “nn.Embedding: Vetores de Palavras Aprendíveis”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de Deep Learning Academy?
Sim. Cada aula de Deep Learning Academy inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Tokenize e Crie um Vocabulário
- nn.Embedding: Vetores de Palavras Aprendíveis
- Por Que Embeddings Capturam Significado
- Treine um Classificador de Texto