Attention Multi-Head dan Posisi

Satu kepala atensi hanya dapat melacak satu jenis hubungan pada satu waktu. Bahasa nyata memerlukan banyak pola yang diperhatikan secara bersamaan. 🧠

Atensi multi-kepala menjalankan beberapa perhitungan atensi secara paralel, masing-masing dengan proyeksi hasil pembelajaran dan fokusnya sendiri.

Satu kepala mungkin melacak hubungan subjek-verba, sementara kepala lain mengikuti kata ganti. Bersama-sama, keduanya menangkap gambaran kalimat yang jauh lebih kaya.

Model membagi ukuran vektornya ke seluruh kepala, sehingga setiap kepala bekerja dalam subruang yang lebih kecil. Total komputasinya tetap kurang lebih sama.

Setelah setiap kepala menghasilkan output, Anda menggabungkan semuanya dan meneruskan hasilnya melalui satu lapisan linear lagi untuk memadukan berbagai sudut pandang.

Atensi-diri memperlakukan input sebagai himpunan, sehingga dengan sendirinya tidak dapat membedakan "dog bites man" dari "man bites dog." Atensi-diri buta terhadap urutan.

Untuk mengatasinya, kita menyisipkan pengodean posisi ke setiap kata agar model mengetahui letak setiap token dalam urutan.

Transformer asli menggunakan gelombang sinus dan kosinus tetap dengan frekuensi berbeda untuk memberi setiap posisi ciri khas yang unik dan halus.

Vektor posisi ditambahkan ke penyematan kata, bukan ditempelkan di bagian akhir. Jadi, setiap token membawa makna dan posisi secara bersamaan.

Banyak model modern mengganti gelombang tetap dengan penyematan posisi yang dipelajari, dilatih bersama semua komponen lain agar lebih fleksibel.

Atensi multi-kepala melihat banyak hubungan, sedangkan pengodean posisi memulihkan urutan. Bersama-sama, keduanya memungkinkan Transformer benar-benar memahami urutan. ✨

Anda telah melihat bagaimana atensi multi-kepala menangkap banyak hubungan secara paralel, sementara pengodean posisi memberi model pemahaman tentang urutan. 🎯