Deep Learning Academy · Урок

nn.Embedding: обучаемые векторы слов

Таблица поиска, обучаемая градиентным спуском

«nn.Embedding: обучаемые векторы слов» — бесплатный урок Deep Learning Academy на CoddyKit. Это урок 2 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Deep Learning Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Deep Learning Academy содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

Ids Alone Are Not Enough

Token ids are just labels. The id 5 is not greater than 2 in any meaningful way, so feeding raw ids to a net misleads it.

One-Hot Is Wasteful

One way to represent ids is a giant one-hot vector, but with thousands of words it is huge, sparse, and carries no similarity.

Enter the Embedding

An embedding maps each id to a short dense vector of floats. These few numbers can encode rich meaning about the word.

It Is a Lookup Table

Think of nn.Embedding as a lookup table: row i holds the vector for token id i. Indexing the table fetches that row.

import torch.nn as nn
emb = nn.Embedding(num_embeddings=1000, embedding_dim=16)

Two Key Arguments

You set num_embeddings to your vocab size and embedding_dim to how many numbers each word vector holds.

Look Up a Word

Pass a tensor of ids and the layer returns their vectors. A batch of ids becomes a batch of dense vectors instantly.

ids = torch.tensor([1, 5, 2])
vecs = emb(ids)  # shape (3, 16)

Output Shape Grows a Dim

The embedding adds an extra dimension. An input of shape (batch, length) becomes (batch, length, embedding_dim).

The Vectors Start Random

At first the embedding rows are random. They hold no meaning yet, just noise waiting to be shaped by training.

They Are Trainable

Embedding weights are parameters. Gradient descent nudges each word vector during training, so the table learns over time.

Choosing the Dimension

A larger embedding_dim can capture more nuance but costs memory. Small tasks use 16 to 100; large language models use far more.

Plug It Into a Model

The embedding is usually the first layer. It converts ids to vectors, then later layers process those vectors as usual.

Quick Check

How does nn.Embedding turn a token id into a vector?

Recap

nn.Embedding is a trainable lookup table mapping ids to dense vectors. It starts random and learns meaning through training. ✅

Часто задаваемые вопросы

Урок «nn.Embedding: обучаемые векторы слов» бесплатный?

Да — полный текст урока «nn.Embedding: обучаемые векторы слов» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Deep Learning Academy, подпишись на CoddyKit PRO. Курс Deep Learning Academy содержит 4 уроков всего.

Чему я научусь в уроке «nn.Embedding: обучаемые векторы слов»?

Таблица поиска, обучаемая градиентным спуском Ты практикуешь Deep Learning Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать Deep Learning Academy?

Предыдущий опыт не требуется. Deep Learning Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 2 из 4.

Сколько времени занимает урок «nn.Embedding: обучаемые векторы слов»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке Deep Learning Academy?

Да. Каждый урок Deep Learning Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

← Назад к Deep Learning Academy