Gagasan tentang Attention
Membiarkan model berfokus pada hal yang penting
Gagasan tentang Attention adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 1 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Mengapa Perhatian?
Saat membaca sebuah kalimat, Anda tidak menimbang setiap kata secara setara. Perhatian memberi model kekuatan yang sama untuk berfokus pada hal yang penting. 🎯
Masalah Penyempitan
Model lama memadatkan seluruh kalimat menjadi satu vektor tetap. Penyempitan itu menghilangkan detail, terutama pada input panjang yang memuat banyak gagasan.
Lihat Kembali Semuanya
Alih-alih menggunakan satu vektor ringkasan, perhatian memungkinkan model melihat kembali setiap kata input kapan pun diperlukan dan memilih hal yang relevan saat itu.
Perhatian sebagai Bobot
Perhatian memberikan setiap kata sebuah bobot antara 0 dan 1. Bobot yang lebih tinggi berarti fokus yang lebih besar; bobot untuk satu langkah selalu berjumlah 1.
Rata-Rata Berbobot
Keluaran merupakan rata-rata berbobot dari vektor input. Kata dengan bobot besar membentuk hasilnya; kata dengan bobot sangat kecil hampir tidak berpengaruh.
weights = [0.7, 0.2, 0.1]
output = sum(w * v for w, v in zip(weights, vectors))Contoh Penerjemahan
Saat menerjemahkan "the cat sat" ke bahasa Prancis, model dapat menyelaraskan setiap kata keluaran dengan kata sumber yang tepat, alih-alih menebak dari satu gumpalan informasi.
Lembut, Bukan Kaku
Perhatian bersifat lembut: perhatian disebarkan ke semua kata berdasarkan tingkat relevansinya, bukan memilih satu kata secara kaku. Hal ini membuatnya lancar dan dapat dilatih.
Menghitung Relevansi
Untuk menetapkan bobot, model menilai seberapa relevan setiap kata dengan langkah saat ini, lalu mengubah penilaian tersebut menjadi sebaran probabilitas.
Softmax Mengubah Nilai Menjadi Bobot
Nilai mentah dapat berupa angka apa pun, sehingga softmax memadatkannya menjadi bobot positif yang jumlahnya 1 dan menonjolkan nilai terbesar.
import numpy as np
def softmax(s):
e = np.exp(s - np.max(s))
return e / e.sum()Menangani Input Panjang
Karena dapat menjangkau kata apa pun secara langsung, atensi mempertahankan hubungan jarak jauh. Kata pertama tetap dapat memengaruhi kata terakhir tanpa melemah.
Mengapa Ini Mengubah Pemrosesan Bahasa Alami
Atensi membebaskan model dari keharusan membaca secara berurutan. Gagasan sederhana ini menjadi fondasi Transformer dan model bahasa modern. 🚀
Pemeriksaan Singkat
Mari kita periksa intuisi utama di balik atensi.
Rangkuman
Anda telah mempelajari bahwa atensi memberi bobot pada setiap kata input berdasarkan relevansinya, lalu memadukannya menjadi output yang terfokus. Fokus inilah yang menggerakkan pemrosesan bahasa alami modern. ✨
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Gagasan tentang Attention” gratis?
Ya — teks lengkap “Gagasan tentang Attention” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Gagasan tentang Attention”?
Membiarkan model berfokus pada hal yang penting Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 1 dari 4.
Berapa lama pelajaran “Gagasan tentang Attention” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Gagasan tentang Attention
- Self-Attention, Langkah demi Langkah
- Attention Multi-Head dan Posisi
- Bagian Dalam Blok Transformer