Pemodelan Bahasa Bermasker
Bagaimana BERT belajar dari teks mentah
Pemodelan Bahasa Bermasker adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 2 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Belajar Tanpa Label
BERT dilatih menggunakan teks biasa tanpa label manusia sama sekali. Trik cerdas ini disebut pembelajaran swadiawasi.
Permainan Mengisi Bagian Kosong
BERT belajar dengan menyembunyikan beberapa kata lalu menebaknya kembali. Permainan ini disebut pemodelan bahasa bermasker, atau MLM secara singkat.
Menyembunyikan Sebuah Kata
Sebuah kata acak ditukar dengan penanda tempat khusus. Di sini model harus memulihkan apa yang ditutupi oleh mask.
text = "the cat sat on the [MASK]"
# model should predict: matMemprediksi Kata yang Hilang
BERT membaca semua hal di sekitar bagian kosong dan mengurutkan kemungkinan pengisiannya. Tebakan yang kuat berasal dari penggunaan konteks lengkap.
Mengapa Penyembunyian Membantu
Untuk mengisi bagian kosong dengan baik, model harus mempelajari tata bahasa, fakta, dan hubungan antarkata. Bagian kosong memaksa adanya pemahaman yang nyata.
Lima Belas Persen yang Terkenal
BERT menutupi sekitar 15 persen kata dalam setiap kalimat selama pelatihan. Rasio ini menyeimbangkan sinyal dan tingkat kesulitan.
Kedua Sisi Sekaligus
Berbeda dari model kiri-ke-kanan, BERT melihat kata sebelum dan sesudah bagian kosong. Pandangan dua arah ini membuat tebakannya jauh lebih kaya.
Tugas Kedua
BERT asli juga menebak apakah satu kalimat mengikuti kalimat lainnya. Tugas tambahan ini disebut prediksi kalimat berikutnya, yang mengajarkannya tentang alur.
Pelatihan Awal, Lalu Digunakan Kembali
Tahap MLM yang lambat dan mahal ini adalah langkah pelatihan awal. Anda mengunduh hasilnya dan menggunakannya kembali tanpa mengulangi pekerjaan tersebut.
Mencobanya dalam Kode
Pipa pengisian mask memungkinkan Anda mengamati MLM secara langsung dan melihat BERT mengurutkan prediksi teratasnya untuk bagian kosong apa pun.
from transformers import pipeline
fm = pipeline("fill-mask", model="bert-base-uncased")
fm("Paris is the [MASK] of France.")Pengetahuan Gratis
Setelah MLM, BERT menyimpan kumpulan besar pengetahuan bahasa yang siap mendukung tugas Anda. Semuanya berasal dari teks mentah.
Pemeriksaan Singkat
Apa yang diminta pemodelan bahasa bermasker untuk dilakukan BERT?
Rangkuman
BERT belajar dengan mengisi bagian kosong yang ditutupi mask menggunakan kedua sisi kalimat. MLM swadiawasi ini membangun pengetahuan bahasa yang mendalam. ✅
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Pemodelan Bahasa Bermasker” gratis?
Ya — teks lengkap “Pemodelan Bahasa Bermasker” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Pemodelan Bahasa Bermasker”?
Bagaimana BERT belajar dari teks mentah Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 2 dari 4.
Berapa lama pelajaran “Pemodelan Bahasa Bermasker” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Mengapa Konteks Mengubah Makna Kata
- Pemodelan Bahasa Bermasker
- Membuat Embedding Kalimat dengan BERT
- Memilih Model Terlatih yang Tepat