nn.Embedding: Vektor Kata yang Dapat Dipelajari
Tabel pencarian yang dilatih melalui penurunan gradien
nn.Embedding: Vektor Kata yang Dapat Dipelajari adalah pelajaran Deep Learning Academy gratis di CoddyKit. Ini adalah pelajaran 2 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar Deep Learning Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus Deep Learning Academy mencakup 4 pelajaran total.
Bagian dari pelajaran ini belum diterjemahkan dan ditampilkan dalam bahasa Inggris.
Ids Alone Are Not Enough
Token ids are just labels. The id 5 is not greater than 2 in any meaningful way, so feeding raw ids to a net misleads it.
One-Hot Is Wasteful
One way to represent ids is a giant one-hot vector, but with thousands of words it is huge, sparse, and carries no similarity.
Enter the Embedding
An embedding maps each id to a short dense vector of floats. These few numbers can encode rich meaning about the word.
It Is a Lookup Table
Think of nn.Embedding as a lookup table: row i holds the vector for token id i. Indexing the table fetches that row.
import torch.nn as nn
emb = nn.Embedding(num_embeddings=1000, embedding_dim=16)Two Key Arguments
You set num_embeddings to your vocab size and embedding_dim to how many numbers each word vector holds.
Look Up a Word
Pass a tensor of ids and the layer returns their vectors. A batch of ids becomes a batch of dense vectors instantly.
ids = torch.tensor([1, 5, 2])
vecs = emb(ids) # shape (3, 16)Output Shape Grows a Dim
The embedding adds an extra dimension. An input of shape (batch, length) becomes (batch, length, embedding_dim).
The Vectors Start Random
At first the embedding rows are random. They hold no meaning yet, just noise waiting to be shaped by training.
They Are Trainable
Embedding weights are parameters. Gradient descent nudges each word vector during training, so the table learns over time.
Choosing the Dimension
A larger embedding_dim can capture more nuance but costs memory. Small tasks use 16 to 100; large language models use far more.
Plug It Into a Model
The embedding is usually the first layer. It converts ids to vectors, then later layers process those vectors as usual.
Quick Check
How does nn.Embedding turn a token id into a vector?
Recap
nn.Embedding is a trainable lookup table mapping ids to dense vectors. It starts random and learns meaning through training. ✅
Pertanyaan yang Sering Diajukan
Apakah pelajaran “nn.Embedding: Vektor Kata yang Dapat Dipelajari” gratis?
Ya — teks lengkap “nn.Embedding: Vektor Kata yang Dapat Dipelajari” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus Deep Learning Academy, upgrade ke CoddyKit PRO. Kursus Deep Learning Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “nn.Embedding: Vektor Kata yang Dapat Dipelajari”?
Tabel pencarian yang dilatih melalui penurunan gradien Kamu berlatih Deep Learning Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai Deep Learning Academy?
Tidak diperlukan pengalaman sebelumnya. Deep Learning Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 2 dari 4.
Berapa lama pelajaran “nn.Embedding: Vektor Kata yang Dapat Dipelajari” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran Deep Learning Academy ini?
Ya. Setiap pelajaran Deep Learning Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Tokenisasi dan Bangun Kosakata
- nn.Embedding: Vektor Kata yang Dapat Dipelajari
- Mengapa Embedding Menangkap Makna
- Latih Pengklasifikasi Teks