Внутри блока Transformer

Трансформер строится путём многократного объединения одного и того же блока. Каждый блок ещё немного уточняет представление. 🧱

У каждого блока есть две части: подслой многоцелевого внимания, за которым следует небольшая полносвязная сеть, применяемая к каждой позиции.

Полносвязный подслой состоит из двух линейных слоёв с нелинейностью между ними и независимо обрабатывает каждый токен для повышения выразительности.

Каждый подслой оборачивает свой вход в остаточную связь: вход добавляется обратно к выходу, чтобы градиенты проходили дальше и ничего не терялось.

После добавления остаточного соединения нормализация слоя изменяет масштаб значений. Это стабилизирует активации и ускоряет обучение.

Стопка кодировщика считывает вход и строит насыщенные контекстные векторы. Она использует самовнимание, поэтому каждый токен видит все остальные.

Декодировщик генерирует выход по одному токену за раз. Он добавляет маскированное внимание и перекрёстное внимание к кодировщику.

Во время генерации маскирование скрывает будущие токены, поэтому декодировщик не может заглянуть вперёд и вынужден честно предсказывать следующее слово.

Перекрёстное внимание позволяет декодировщику обращаться к выходам кодировщика, связывая создаваемый текст с тем, что модель изначально прочитала.

Объединение множества блоков позволяет ранним слоям улавливать простые закономерности, а поздним — строить абстрактное значение, подобно глубоким сетям компьютерного зрения.

BERT использует только кодировщик, GPT — только декодировщик, а модели перевода используют оба компонента. Блок — это общий строительный элемент. 🚀

Вы собрали блок трансформера: внимание и полносвязный слой, объединённые с остаточными связями и нормализацией слоя, а затем выстроенные в кодировщики и декодировщики. ✨