NLP Academy · Урок

Многоголовое внимание и позиции

Несколько представлений и учёт порядка

«Многоголовое внимание и позиции» — бесплатный урок NLP Academy на CoddyKit. Это урок 3 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения NLP Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс NLP Academy содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

One Head Is Limiting

A single attention head can track only one kind of relationship at a time. Real language needs many patterns noticed at once. 🧠

Many Heads, Many Views

Multi-head attention runs several attention computations in parallel, each with its own learned projections and its own focus.

What Each Head Learns

One head might track subject-verb links while another follows pronouns. Together they capture a far richer picture of the sentence.

Split the Dimensions

The model splits its vector size across heads, so each head works in a smaller subspace. The total compute stays roughly the same.

d_head = d_model // num_heads

Combine the Heads

After each head produces an output, you concatenate them and pass the result through one more linear layer to mix the views.

out = concat(head_1, head_2, ...) @ W_o

Attention Ignores Order

Self-attention treats input as a set, so by itself it cannot tell "dog bites man" from "man bites dog." It is order-blind.

Adding Position Information

To fix this, we inject a positional encoding into each word so the model knows where every token sits in the sequence.

Sinusoidal Encodings

The original Transformer uses fixed sine and cosine waves of different frequencies to give each position a unique, smooth signature.

pe[pos, 2i] = sin(pos / 10000 ** (2*i/d))

Added, Not Appended

Position vectors are added to the word embeddings, not stuck on the end. So each token carries both meaning and place together.

x = token_embeddings + positional_encoding

Learned Positions Too

Many modern models replace fixed waves with learned position embeddings, trained alongside everything else for flexibility.

Why Both Matter

Multi-head attention sees many relationships; positional encodings restore order. Together they let the Transformer truly understand sequences. ✨

Quick Check

Let us test positions and heads.

Recap

You saw how multi-head attention captures many relationships in parallel, while positional encodings give the model a sense of order. 🎯

Часто задаваемые вопросы

Урок «Многоголовое внимание и позиции» бесплатный?

Да — полный текст урока «Многоголовое внимание и позиции» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс NLP Academy, подпишись на CoddyKit PRO. Курс NLP Academy содержит 4 уроков всего.

Чему я научусь в уроке «Многоголовое внимание и позиции»?

Несколько представлений и учёт порядка Ты практикуешь NLP Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать NLP Academy?

Предыдущий опыт не требуется. NLP Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 3 из 4.

Сколько времени занимает урок «Многоголовое внимание и позиции»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке NLP Academy?

Да. Каждый урок NLP Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

← Назад к NLP Academy