Self-Attention, Langkah demi Langkah

Dalam atensi-diri, setiap kata melihat semua kata lain dalam kalimat yang sama untuk membangun versi dirinya yang lebih kaya dan sadar konteks. 🔍

Setiap kata diproyeksikan menjadi tiga vektor: kueri, kunci, dan nilai. Ketiga peran ini menggerakkan seluruh perhitungan atensi-diri.

Kueri mewakili hal yang sedang dicari oleh sebuah kata. Anggaplah ini sebagai pertanyaan yang diajukan kata tersebut tentang bagian kalimat lainnya.

Setiap kata juga menyediakan kunci yang menunjukkan apa yang dikandungnya, serta nilai yang menyimpan informasi sebenarnya untuk diteruskan jika dipilih.

Bandingkan kueri dengan setiap kunci menggunakan hasil kali titik. Hasil kali yang lebih besar berarti kueri dan kunci lebih selaras, sehingga kata tersebut layak mendapat lebih banyak fokus.

Bagilah nilai dengan akar kuadrat dari dimensi kunci. Penskalaan ini menjaga angka tetap stabil agar softmax tidak menjadi terlalu tajam.

Jalankan nilai yang telah diskalakan melalui softmax untuk mendapatkan bobot atensi yang positif dan jumlahnya 1 di seluruh kata dalam kalimat.

Kalikan setiap nilai dengan bobotnya, lalu jumlahkan semuanya. Hasilnya adalah vektor baru yang memadukan informasi dari kata-kata paling relevan.

Semua langkah berpadu menjadi satu ekspresi yang rapi: atensi hasil kali titik yang diskalakan atas kueri, kunci, dan nilai, sebagaimana diperkenalkan dalam makalah Transformer.

Disebut atensi diri karena kueri, kunci, dan nilainya semuanya berasal dari urutan yang sama, sehingga kata-kata dapat memperhatikan tetangganya sendiri.

Dalam "it was tired," atensi-diri menghubungkan it dengan kata benda yang tepat melalui pembobotan kata-kata di dekatnya, sehingga setiap token memperoleh konteks yang lebih jelas.

Anda telah menelusuri atensi-diri: mengubah kata menjadi kueri, kunci, dan nilai, memberi nilai, melakukan penskalaan, menjalankan softmax, lalu memadukan nilainya. Itulah mesinnya. ⚙️