NLP Academy · Pelajaran

Membuat Embedding Kalimat dengan BERT

Mengekstrak vektor kontekstual dalam kode

Pelajaran 3 dari 413 langkah

Membuat Embedding Kalimat dengan BERT adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 3 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.

Dari Kata ke Kalimat

BERT memberikan vektor untuk setiap token. Namun, sering kali Anda menginginkan satu vektor untuk seluruh kalimat, bukan untuk setiap kata.

Token CLS

BERT menambahkan token khusus bernama CLS di bagian paling depan setiap input. Output-nya sering digunakan sebagai ringkasan kalimat.

Pengumpulan Rata-Rata

Trik umum lainnya adalah merata-ratakan semua vektor token menjadi satu. Langkah pengumpulan rata-rata ini sering mengungguli vektor CLS mentah.

Memuat Model

Hugging Face memudahkan proses pemuatan: ambil satu pengurai token dan satu model, masing-masing dengan satu baris. Keduanya membentuk pipa Anda untuk penyematan.

from transformers import AutoTokenizer, AutoModel
tok = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModel.from_pretrained("bert-base-uncased")

Mengurai Teks

Tokenizer mengubah kalimat Anda menjadi nomor id dan masker perhatian yang dipahami BERT. Ini adalah langkah pengodean.

inputs = tok("I love NLP", return_tensors="pt")

Jalankan Model

Masukkan input yang telah dikodekan ke BERT untuk mendapatkan keadaan tersembunyi bagi setiap token. Vektor-vektor ini adalah output mentah yang akan Anda gabungkan.

out = model(**inputs)
states = out.last_hidden_state

Gabungkan Menjadi Satu Vektor

Rata-ratakan keadaan token sepanjang urutan untuk menggabungkannya menjadi satu embedding kalimat yang dapat Anda simpan.

vec = states.mean(dim=1)

Cara yang Lebih Mudah

Pustaka Sentence-Transformers menangani semua ini untuk Anda. Satu pemanggilan menghasilkan vektor kalimat yang siap digunakan. ✨

from sentence_transformers import SentenceTransformer
m = SentenceTransformer("all-MiniLM-L6-v2")
vec = m.encode("I love NLP")

Bandingkan Kalimat

Dengan dua vektor kalimat, ukur kedekatannya menggunakan kemiripan kosinus. Skor yang lebih tinggi berarti kalimat-kalimat tersebut memiliki makna yang serupa.

Hal yang Dapat Anda Bangun

Embedding kalimat mendukung pencarian semantik, pengelompokan, dan deteksi duplikat. Embedding mengubah makna menjadi sesuatu yang dapat Anda cari.

Catatan tentang Kualitas

Model yang disesuaikan untuk kalimat, seperti MiniLM, biasanya mengungguli BERT biasa dalam hal ini. Pilih model yang dilatih untuk tugas yang benar-benar Anda miliki.

Pemeriksaan Singkat

Bagaimana cara mengubah banyak vektor token menjadi satu vektor kalimat?

Jawab di pelajaran interaktif

Ringkasan

Lakukan tokenize, jalankan BERT, lalu gabungkan atau gunakan CLS untuk mendapatkan satu embedding kalimat. Sentence-Transformers menjadikannya satu pemanggilan. ✅

Gratis untuk memulai

Belajar Python dengan tutor AI — gratis

Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.

Kursus: 30
Pelajaran: 120

Mulai belajar gratis Lihat kursus lengkapnya

Pertanyaan yang Sering Diajukan

Apakah pelajaran “Membuat Embedding Kalimat dengan BERT” gratis?

Ya — teks lengkap “Membuat Embedding Kalimat dengan BERT” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.

Apa yang akan aku pelajari di “Membuat Embedding Kalimat dengan BERT”?

Mengekstrak vektor kontekstual dalam kode Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.

Apakah aku perlu pengalaman untuk memulai NLP Academy?

Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 3 dari 4.

Berapa lama pelajaran “Membuat Embedding Kalimat dengan BERT” memakan waktu?

Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.

Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?

Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.

Semua pelajaran dalam kursus ini

← Kembali ke NLP Academy