Dentro del bloque Transformer

Un Transformer se construye apilando muchas veces el mismo bloque. Cada bloque refina un poco más la representación. 🧱

Cada bloque tiene dos partes: una subcapa de atención multicabeza, seguida de una pequeña red de alimentación hacia adelante aplicada a cada posición.

La subcapa feed-forward consta de dos capas lineales con una no linealidad entre ellas y procesa cada token de forma independiente para aportar más capacidad.

Cada subcapa envuelve su entrada en una conexión residual: suma de nuevo la entrada a la salida para que los gradientes fluyan y no se pierda información.

Después de sumar la conexión residual, la normalización por capas vuelve a escalar los valores. Esto mantiene estables las activaciones y acelera el entrenamiento.

Una pila de codificador lee la entrada y construye vectores de contexto ricos. Utiliza autoatención para que cada token vea todos los demás.

Un decodificador genera la salida un token a la vez. Añade atención enmascarada y atención cruzada hacia el codificador.

Durante la generación, el enmascaramiento oculta los tokens futuros, de modo que el decodificador no pueda adelantarse y tenga que predecir honestamente la palabra siguiente.

La atención cruzada permite que el decodificador consulte las salidas del codificador y conecte lo que está escribiendo con lo que leyó originalmente.

Apilar muchos bloques permite que las primeras capas detecten patrones simples y que las posteriores construyan un significado abstracto, de forma parecida a las redes profundas de visión.

BERT utiliza solo el codificador, GPT utiliza solo el decodificador y los modelos de traducción utilizan ambos. El bloque es la unidad de construcción compartida. 🚀

Ha ensamblado el bloque Transformer: atención más alimentación hacia adelante, envueltas en conexiones residuales y normalización por capas, y apiladas en codificadores y decodificadores. ✨