Самовнимание шаг за шагом

В самовнимании каждое слово обращается к каждому другому слову в том же предложении, чтобы построить более содержательное представление самого себя с учётом контекста. 🔍

Каждое слово преобразуется в три вектора: запрос, ключ и значение. Эти три роли определяют всё вычисление самовнимания.

Запрос представляет то, что ищет слово. Представьте его как вопрос, который это слово задаёт обо всей остальной части предложения.

Каждое слово также предоставляет ключ, сообщающий, что в нём содержится, и значение с фактической информацией, которую нужно передать, если слово будет выбрано.

Сравните запрос с каждым ключом с помощью скалярного произведения. Чем больше произведение, тем лучше согласуются запрос и ключ, поэтому этому слову следует уделить больше внимания.

Разделите оценки на квадратный корень из размерности ключа. Это масштабирование стабилизирует числа, чтобы софтмакс не становился слишком резким.

Пропустите масштабированные оценки через софтмакс, чтобы получить веса внимания, которые положительны и в сумме дают 1 по всем словам предложения.

Умножьте каждое значение на его вес и сложите результаты. Получится новый вектор, который смешивает информацию от наиболее релевантных слов.

Все шаги объединяются в одно аккуратное выражение: внимание на основе масштабированного скалярного произведения для запросов, ключей и значений, как описано в статье о трансформере.

Оно называется самовниманием, потому что запросы, ключи и значения поступают из одной и той же последовательности, позволяя словам обращаться к собственным соседям.

В предложении «it was tired» самовнимание связывает it с правильным существительным, придавая соседним словам больший вес и обеспечивая каждому токену более ясный контекст.

Вы прошли весь процесс самовнимания: преобразовали слова в запросы, ключи и значения, рассчитали оценки, масштабировали их, применили софтмакс, а затем смешали значения. Это и есть основной механизм. ⚙️