Atención multi-cabeza y posiciones

Una sola cabeza de atención solo puede seguir un tipo de relación a la vez. El lenguaje real necesita detectar muchos patrones a la vez. 🧠

La atención multicabeza ejecuta varios cálculos de atención en paralelo, cada uno con sus propias proyecciones aprendidas y su propio enfoque.

Una cabeza puede seguir relaciones entre sujeto y verbo, mientras otra sigue los pronombres. Juntas capturan una representación mucho más rica de la oración.

El modelo divide el tamaño de su vector entre las cabezas, de modo que cada cabeza trabaja en un subespacio más pequeño. El costo computacional total se mantiene aproximadamente igual.

Después de que cada cabeza produce una salida, se concatenan y el resultado pasa por otra capa lineal para combinar las perspectivas.

La autoatención trata la entrada como un conjunto, por lo que por sí sola no puede distinguir «dog bites man» de «man bites dog». Es ciega al orden.

Para solucionar esto, inyectamos una codificación posicional en cada palabra, de modo que el modelo sepa dónde se encuentra cada token en la secuencia.

El Transformer original utiliza ondas fijas de seno y coseno con distintas frecuencias para dar a cada posición una firma única y suave.

Los vectores posicionales se suman a las representaciones vectoriales de las palabras, no se colocan al final. Así, cada token contiene a la vez su significado y su posición.

Muchos modelos modernos sustituyen las ondas fijas por representaciones posicionales aprendidas, entrenadas junto con todo lo demás para ofrecer mayor flexibilidad.

La atención multicabeza detecta muchas relaciones, mientras que las codificaciones posicionales restauran el orden. Juntas permiten que el Transformer comprenda realmente las secuencias. ✨

Ha visto cómo la atención multicabeza captura muchas relaciones en paralelo, mientras que las codificaciones posicionales proporcionan al modelo una noción del orden. 🎯