Por dentro do bloco Transformer

Um Transformer é construído empilhando o mesmo bloco várias vezes. Cada bloco aprimora um pouco mais a representação. 🧱

Cada bloco tem duas partes: uma subcamada de atenção com múltiplas cabeças, seguida por uma pequena rede de alimentação direta aplicada a cada posição.

A subcamada de alimentação direta consiste em duas camadas lineares com uma não linearidade entre elas, processando cada token de forma independente para obter mais capacidade.

Cada subcamada envolve sua entrada em uma conexão residual: adiciona a entrada novamente à saída para que os gradientes fluam e nada seja perdido.

Depois de adicionar a conexão residual, a normalização de camadas redimensiona os valores. Isso mantém as ativações estáveis e acelera o treinamento.

Uma pilha de codificador lê a entrada e constrói vetores ricos em contexto. Ela usa autoatenção para que cada token veja todos os demais.

Um decodificador gera a saída um token por vez. Ele adiciona atenção mascarada e atenção cruzada de volta ao codificador.

Durante a geração, o mascaramento oculta os tokens futuros para que o decodificador não possa olhar adiante e tenha de prever honestamente a próxima palavra.

A atenção cruzada permite que o decodificador consulte as saídas do codificador, conectando o que ele está escrevendo ao que leu originalmente.

Empilhar muitos blocos permite que as camadas iniciais capturem padrões simples e que as camadas posteriores construam significado abstrato, assim como ocorre em redes profundas de visão computacional.

BERT usa apenas o codificador, GPT usa apenas o decodificador e os modelos de tradução usam ambos. O bloco é a unidade de construção compartilhada. 🚀

Você montou o bloco do Transformer: atenção e alimentação direta, envolvidas por conexões residuais e normalização de camadas, empilhadas em codificadores e decodificadores. ✨