Perhatian Kendiri, Langkah demi Langkah

Pertanyaan mewakili perkara yang sedang dicari oleh sesuatu perkataan. Anggaplah ia sebagai soalan yang ditanyakan oleh perkataan itu tentang bahagian lain dalam ayat.

Setiap perkataan juga menyediakan kunci yang menunjukkan kandungannya, serta nilai yang menyimpan maklumat sebenar untuk disampaikan jika dipilih.

Bandingkan pertanyaan dengan setiap kunci menggunakan hasil darab titik. Hasil darab yang lebih besar bermaksud pertanyaan dan kunci lebih sepadan, maka perkataan itu patut diberikan tumpuan yang lebih besar.

Bahagikan skor dengan punca kuasa dua dimensi kunci. Penskalaan ini memastikan nombor kekal stabil supaya softmax tidak menjadi terlalu tajam.

Salurkan skor yang telah diskalakan melalui softmax untuk mendapatkan pemberat perhatian yang positif dan jumlahnya 1 merentas semua perkataan dalam ayat.

Darabkan setiap nilai dengan pemberatnya dan jumlahkan semuanya. Hasilnya ialah vektor baharu yang menggabungkan maklumat daripada perkataan yang paling relevan.

Semua langkah digabungkan menjadi satu ungkapan yang kemas: perhatian hasil darab titik berskala terhadap pertanyaan, kunci dan nilai, seperti yang diperkenalkan dalam makalah Transformer.

Ia dipanggil perhatian kendiri kerana pertanyaan, kunci dan nilai semuanya datang daripada jujukan yang sama, lalu membolehkan perkataan memberikan perhatian kepada jiran masing-masing.

Dalam "it was tired," perhatian kendiri menghubungkan it dengan kata nama yang betul melalui pemberatan terhadap perkataan berdekatan, lalu memberikan konteks yang lebih jelas kepada setiap token.

Anda telah mengikuti perhatian kendiri: menukarkan perkataan kepada pertanyaan, kunci dan nilai, memberikan skor, menskalakan, menggunakan softmax, kemudian menggabungkan nilai. Itulah enjinnya. ⚙️