Atenção multicabeças e posições

Uma única cabeça de atenção consegue acompanhar apenas um tipo de relação por vez. A linguagem real exige que muitos padrões sejam percebidos ao mesmo tempo. 🧠

A atenção com múltiplas cabeças executa vários cálculos de atenção em paralelo, cada um com suas próprias projeções aprendidas e seu próprio foco.

Uma cabeça pode acompanhar relações entre sujeito e verbo, enquanto outra acompanha pronomes. Juntas, elas capturam uma visão muito mais rica da frase.

O modelo divide o tamanho do vetor entre as cabeças, portanto cada cabeça trabalha em um subespaço menor. O custo computacional total permanece aproximadamente igual.

Depois que cada cabeça produz uma saída, você as concatena e passa o resultado por mais uma camada linear para combinar as perspectivas.

A autoatenção trata a entrada como um conjunto; portanto, sozinha, não consegue distinguir "dog bites man" de "man bites dog". Ela é indiferente à ordem.

Para corrigir isso, inserimos uma codificação posicional em cada palavra, para que o modelo saiba onde cada token está na sequência.

O Transformer original usa ondas fixas de seno e cosseno, com frequências diferentes, para dar a cada posição uma assinatura única e suave.

Os vetores de posição são adicionados às representações vetoriais das palavras, e não colocados no final. Assim, cada token carrega seu significado e sua posição juntos.

Muitos modelos modernos substituem as ondas fixas por representações vetoriais de posição aprendidas, treinadas junto com todo o restante para oferecer mais flexibilidade.

A atenção com múltiplas cabeças identifica muitas relações; as codificações posicionais restauram a ordem. Juntas, elas permitem que o Transformer realmente compreenda sequências. ✨

Você viu como a atenção com múltiplas cabeças captura muitas relações em paralelo, enquanto as codificações posicionais dão ao modelo uma noção de ordem. 🎯