Pengekodan Kedudukan untuk Susunan

Perhatian kendiri menganggap ayat sebagai himpunan token. Susun semula perkataan dan matematiknya hampir tidak berubah, jadi model tidak mempunyai deria terbina dalam tentang susunan.

Namun susunan penting: "dog bites man" tidak sama dengan "man bites dog". Kita perlu memberikan model isyarat tentang kedudukan setiap token.

Caranya ialah menambah vektor kedudukan secara terus kepada pembenaman setiap token. Bentuknya sama, jadi perhatian melihat kandungan dan tempat sebagai satu gabungan.

Transformer asal menggunakan gelombang sinus dan kosinus tetap dengan frekuensi yang berbeza, satu corak bagi setiap dimensi, untuk menandakan setiap kedudukan.

Pencampuran frekuensi memberikan setiap kedudukan cap jari yang unik, dan gelombang licin membolehkan model membuat generalisasi kepada panjang yang tidak pernah dilihatnya semasa latihan.

Dimensi genap menggunakan sinus, manakala dimensi ganjil menggunakan kosinus, dengan panjang gelombang yang meningkat merentas dimensi. Itulah keseluruhan resipi pengekodan.

Satu kelebihan menarik: dengan gelombang sinus, ofset antara dua kedudukan mudah dinyatakan, lalu membantu perhatian menaakul tentang jarak relatif.

Model moden sering meninggalkan gelombang sinus dan menggunakan jadual pembenaman yang dipelajari, iaitu satu vektor boleh dilatih bagi setiap kedudukan, sama seperti pembenaman perkataan.

Gelombang sinus tetap boleh diekstrapolasi kepada panjang baharu secara percuma; jadual yang dipelajari sesuai dengan data anda tetapi terhad kepada panjang maksimum yang digunakan semasa latihan.

Transformer yang lebih baharu mengutamakan pengekodan kedudukan putaran, yang memutarkan vektor pertanyaan dan kunci mengikut sudut yang berkaitan dengan kedudukan, lalu memasukkan susunan terus ke dalam perhatian.

Walau apa pun skema yang anda pilih, maklumat kedudukan disuntik sekali pada input, sebelum lapisan perhatian pertama dijalankan.

Anda telah belajar bahawa perhatian mengabaikan susunan, jadi kita menambah pengekodan kedudukan, sama ada berbentuk sinus, dipelajari atau putaran, untuk memberitahu lokasi token. Syabas!