Bagian Dalam Blok Transformer

Transformer dibangun dengan menumpuk blok yang sama berkali-kali. Setiap blok sedikit menyempurnakan representasi. 🧱

Setiap blok memiliki dua bagian: sublapisan atensi multi-kepala yang diikuti jaringan umpan maju kecil yang diterapkan pada setiap posisi.

Sublapisan umpan maju terdiri atas dua lapisan linear dengan fungsi nonlinier di antaranya, yang memproses setiap token secara independen untuk menambah kemampuan.

Setiap sublapisan membungkus inputnya dalam koneksi residual: tambahkan kembali input ke output agar gradien dapat mengalir dan tidak ada informasi yang hilang.

Setelah residual ditambahkan, normalisasi lapisan menskalakan ulang nilainya. Ini menjaga aktivasi tetap stabil dan mempercepat pelatihan.

Tumpukan pengode membaca input dan membangun vektor konteks yang kaya. Tumpukan ini menggunakan atensi-diri agar setiap token dapat melihat semua token lainnya.

Pengawasandi menghasilkan output satu token setiap kali. Komponen ini menambahkan atensi bermasker serta atensi silang ke pengode.

Saat menghasilkan teks, pemaskeran menyembunyikan token masa depan agar pengawasandi tidak dapat mengintip ke depan dan harus memprediksi kata berikutnya dengan benar.

Atensi silang memungkinkan pengawasandi mengajukan kueri ke output pengode, menghubungkan hal yang sedang ditulis dengan hal yang semula dibaca.

Menumpuk banyak blok memungkinkan lapisan awal menangkap pola sederhana dan lapisan selanjutnya membangun makna yang abstrak, seperti pada jaringan visi mendalam.

BERT hanya menggunakan pengode, GPT hanya menggunakan pengawasandi, dan model penerjemahan menggunakan keduanya. Blok adalah unit pembangun bersama. 🚀

Anda telah menyusun blok Transformer: atensi ditambah umpan maju, dibungkus dalam koneksi residual dan normalisasi lapisan, lalu ditumpuk menjadi pengode dan pengawasandi. ✨