Embedding GloVe dan FastText
Statistik kemunculan bersama secara global, subkata FastText, memuat embedding yang telah dilatih sebelumnya.
Embedding GloVe dan FastText adalah pelajaran Learn AI with Python gratis di CoddyKit. Ini adalah pelajaran 2 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar Learn AI with Python, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus Learn AI with Python mencakup 4 pelajaran total.
Melampaui Word2Vec
Word2Vec belajar dari jendela konteks lokal. Dua representasi vektor berpengaruh lainnya menggunakan pendekatan berbeda: GloVe menggunakan statistik global, sedangkan FastText menggunakan potongan karakter.
Apa Itu GloVe
GloVe (Vektor Global) dilatih berdasarkan matriks kemunculan bersama global: seberapa sering setiap pasangan kata muncul bersama di seluruh korpus, bukan hanya dalam jendela lokal.
Mengapa Statistik Global Membantu
Dengan memfaktorkan seluruh matriks kemunculan bersama, GloVe menangkap hubungan dan perbandingan antarkata di seluruh korpus, sehingga sering menghasilkan vektor berkualitas tinggi yang menyamai atau mengungguli Word2Vec dalam tugas analogi.
Memuat Vektor Pralatih
Melatih representasi vektor membutuhkan korpus yang sangat besar, jadi biasanya kita mengunduh representasi vektor pralatih. gensim.downloader mengambil model populer seperti vektor GloVe dalam satu baris.
import gensim.downloader as api
glove = api.load("glove-wiki-gigaword-100")
print(glove["computer"].shape) # (100,)Menggunakan GloVe Pralatih
Setelah dimuat, vektor GloVe mendukung operasi yang sama seperti Word2Vec: kemiripan dan analogi.
import gensim.downloader as api
glove = api.load("glove-wiki-gigaword-100")
print(glove.most_similar("king", topn=3))
print(glove.most_similar(positive=["king", "woman"], negative=["man"], topn=1))Masalah Kata di Luar Kosakata
Word2Vec dan GloVe hanya menetapkan vektor untuk kata-kata yang terlihat selama pelatihan. Kata baru atau salah eja (di luar kosakata, OOV) tidak memiliki vektor, yang menjadi keterbatasan nyata untuk teks yang tidak rapi.
Apa Itu FastText
FastText mengatasi OOV dengan merepresentasikan setiap kata sebagai sekumpulan n-gram karakter. Kata "bermain" mencakup bagian seperti "ber", "rma", dan "ain", sehingga memiliki struktur yang sama dengan kata-kata terkait.
Bagaimana N-gram Karakter Membantu
Karena vektor kata dibentuk dari subbagiannya, FastText dapat menyusun vektor untuk kata yang belum pernah dilihat dari n-gramnya. FastText juga menangkap morfologi, sehingga membantu menangani awalan, akhiran, dan kata-kata langka.
Melatih FastText
gensim menyediakan FastText dengan API yang mirip Word2Vec. Parameter min_n dan max_n menetapkan rentang n-gram karakter.
from gensim.models import FastText
model = FastText(
sentences,
vector_size=100,
window=5,
min_count=1,
min_n=3,
max_n=6,
)FastText Menangani OOV
Bahkan kata yang tidak pernah terlihat selama pelatihan tetap menghasilkan vektor yang disusun dari n-gram karakternya. Inilah keunggulan khas FastText dibandingkan Word2Vec dan GloVe.
from gensim.models import FastText
model = FastText(sentences, vector_size=100, min_n=3, max_n=6, min_count=1)
# works even if "catlike" was never in training
vec = model.wv["catlike"]Memilih Representasi Vektor
Gunakan GloVe atau Word2Vec untuk teks yang bersih dengan kosakata tetap. Pilih FastText untuk bahasa yang kaya morfologi, teks yang berisik, atau ketika kata OOV sering muncul. Vektor pralatih merupakan titik awal yang sangat baik dalam semua situasi.
Pemeriksaan Singkat
Uji pengetahuan Anda tentang representasi vektor.
Ringkasan
Ringkasan: GloVe belajar dari statistik kemunculan bersama global; FastText menggunakan n-gram karakter untuk menangani kata di luar kosakata dan morfologi. Muat vektor pralatih dengan gensim.downloader.load. Keduanya mendukung kemiripan dan analogi. Pilih FastText untuk teks yang berisik atau kaya morfologi, serta GloVe/Word2Vec untuk kosakata tetap yang bersih.
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Embedding GloVe dan FastText” gratis?
Ya — teks lengkap “Embedding GloVe dan FastText” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus Learn AI with Python, upgrade ke CoddyKit PRO. Kursus Learn AI with Python mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Embedding GloVe dan FastText”?
Statistik kemunculan bersama secara global, subkata FastText, memuat embedding yang telah dilatih sebelumnya. Kamu berlatih Learn AI with Python dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai Learn AI with Python?
Tidak diperlukan pengalaman sebelumnya. Learn AI with Python di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 2 dari 4.
Berapa lama pelajaran “Embedding GloVe dan FastText” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran Learn AI with Python ini?
Ya. Setiap pelajaran Learn AI with Python menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Word2Vec: Skip-gram dan CBOW
- Embedding GloVe dan FastText
- Klasifikasi Teks dengan BERT
- Kemiripan Semantik dan Embedding Kalimat