nn.Embedding: vectores de palabras aprendibles
Una tabla de consulta entrenada mediante descenso del gradiente
nn.Embedding: vectores de palabras aprendibles es una lección gratuita de Deep Learning Academy en CoddyKit. Esta es la lección 2 de 4. Puedes leer la lección completa abajo gratuitamente — luego la practicas en el navegador con un editor de código integrado y un tutor de IA 24/7. Forma parte de la ruta de aprendizaje de Deep Learning Academy, y tu progreso se sincroniza en la web y la app de CoddyKit. El curso de Deep Learning Academy incluye 4 lecciones en total.
Partes de esta lección aún no han sido traducidas y se muestran en inglés.
Ids Alone Are Not Enough
Token ids are just labels. The id 5 is not greater than 2 in any meaningful way, so feeding raw ids to a net misleads it.
One-Hot Is Wasteful
One way to represent ids is a giant one-hot vector, but with thousands of words it is huge, sparse, and carries no similarity.
Enter the Embedding
An embedding maps each id to a short dense vector of floats. These few numbers can encode rich meaning about the word.
It Is a Lookup Table
Think of nn.Embedding as a lookup table: row i holds the vector for token id i. Indexing the table fetches that row.
import torch.nn as nn
emb = nn.Embedding(num_embeddings=1000, embedding_dim=16)Two Key Arguments
You set num_embeddings to your vocab size and embedding_dim to how many numbers each word vector holds.
Look Up a Word
Pass a tensor of ids and the layer returns their vectors. A batch of ids becomes a batch of dense vectors instantly.
ids = torch.tensor([1, 5, 2])
vecs = emb(ids) # shape (3, 16)Output Shape Grows a Dim
The embedding adds an extra dimension. An input of shape (batch, length) becomes (batch, length, embedding_dim).
The Vectors Start Random
At first the embedding rows are random. They hold no meaning yet, just noise waiting to be shaped by training.
They Are Trainable
Embedding weights are parameters. Gradient descent nudges each word vector during training, so the table learns over time.
Choosing the Dimension
A larger embedding_dim can capture more nuance but costs memory. Small tasks use 16 to 100; large language models use far more.
Plug It Into a Model
The embedding is usually the first layer. It converts ids to vectors, then later layers process those vectors as usual.
Quick Check
How does nn.Embedding turn a token id into a vector?
Recap
nn.Embedding is a trainable lookup table mapping ids to dense vectors. It starts random and learns meaning through training. ✅
Preguntas frecuentes
¿La lección «nn.Embedding: vectores de palabras aprendibles» es gratis?
Sí — el texto completo de «nn.Embedding: vectores de palabras aprendibles» es gratis para leer aquí en la web. Para practicarla de forma interactiva (editor de código integrado y tutor de IA 24/7) y desbloquear el resto del curso de Deep Learning Academy, actualiza a CoddyKit PRO. El curso de Deep Learning Academy incluye 4 lecciones en total.
¿Qué aprenderé en «nn.Embedding: vectores de palabras aprendibles»?
Una tabla de consulta entrenada mediante descenso del gradiente Practicas Deep Learning Academy con código real que ejecutas directamente en el navegador, y un tutor de IA 24/7 responde tus preguntas mientras trabajas en la lección.
¿Necesito experiencia previa para empezar Deep Learning Academy?
No se requiere experiencia previa. Deep Learning Academy en CoddyKit está estructurado para principiantes hasta estudiantes avanzados, así que puedes empezar aquí o desde el inicio y avanzar a tu ritmo. Esta es la lección 2 de 4.
¿Cuánto tiempo toma la lección «nn.Embedding: vectores de palabras aprendibles»?
La mayoría de las lecciones de CoddyKit toman alrededor de 5–10 minutos. Cada una es compacta e interactiva, así que avanzas constantemente y retomas exactamente por donde dejaste en la web y la app.
¿Puedo escribir y ejecutar código en esta lección de Deep Learning Academy?
Sí. Cada lección de Deep Learning Academy incluye un editor de código integrado, así que escribes y ejecutas código real directamente en tu navegador y obtienes retroalimentación instantánea de IA — sin configuración local necesaria.
Todas las lecciones de este curso
- Tokenice y cree un vocabulario
- nn.Embedding: vectores de palabras aprendibles
- Por qué los embeddings capturan el significado
- Entrene un clasificador de texto