Токенизация и построение словаря
Преобразуйте текст в целочисленные идентификаторы
«Токенизация и построение словаря» — бесплатный урок Deep Learning Academy на CoddyKit. Это урок 1 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Deep Learning Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Deep Learning Academy содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
Networks Only Eat Numbers
A neural net cannot read raw letters. Before any learning happens, you must turn text into numbers the model can crunch. 🔢
First Step: Tokenize
To tokenize means to split text into small pieces called tokens. The simplest choice is to split a sentence on spaces into words.
text = "I love deep learning"
tokens = text.split()
# ["I", "love", "deep", "learning"]Tokens Can Be Smaller
A token need not be a whole word. It can be a character or a sub-word piece, which helps the model handle rare or unseen words.
Build a Vocabulary
A vocabulary is the full set of unique tokens your model knows. You collect every distinct token across your training text.
Give Each Token an Id
Each unique token gets one integer id. This mapping from token to id is how words become numbers the network can index.
vocab = {"i": 0, "love": 1, "deep": 2, "learning": 3}Encode a Sentence
To encode text, you look up each token in the vocabulary and replace it with its id, producing a list of integers.
ids = [vocab[t] for t in ["i", "love", "deep"]]
# [0, 1, 2]Handle Unknown Words
Some tokens at test time were never seen in training. Map them to a special unknown token so the model still gets a valid id.
unk_id = vocab.get("dragons", vocab["<unk>"])Special Tokens Help
Add special tokens like padding, start, and end markers. They give the model structure beyond the plain words themselves.
Lowercase and Clean
Normalizing text by lowercasing and stripping punctuation shrinks the vocabulary so Cat and cat share a single id.
Limit the Vocabulary Size
Real corpora have huge vocabularies. Keep only the most frequent tokens to control the vocab size; the rest become unknown.
Now Text Is a Tensor
Once encoded, a sentence is a list of ids you can wrap in a tensor. The pipeline from raw text to model input is complete.
import torch
ids = torch.tensor([0, 1, 2, 3])Quick Check
What does building a vocabulary give every unique token?
Recap
You split text into tokens, gather the unique ones into a vocabulary, and map each to an integer id so text becomes numbers. ✅
Часто задаваемые вопросы
Урок «Токенизация и построение словаря» бесплатный?
Да — полный текст урока «Токенизация и построение словаря» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Deep Learning Academy, подпишись на CoddyKit PRO. Курс Deep Learning Academy содержит 4 уроков всего.
Чему я научусь в уроке «Токенизация и построение словаря»?
Преобразуйте текст в целочисленные идентификаторы Ты практикуешь Deep Learning Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать Deep Learning Academy?
Предыдущий опыт не требуется. Deep Learning Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 1 из 4.
Сколько времени занимает урок «Токенизация и построение словаря»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке Deep Learning Academy?
Да. Каждый урок Deep Learning Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Токенизация и построение словаря
- nn.Embedding: обучаемые векторы слов
- Почему embedding-слои улавливают смысл
- Обучите классификатор текста