Token, Span, dan Objek Doc
Menjelajahi struktur data spaCy
Token, Span, dan Objek Doc adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 3 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Tiga Objek Inti
spaCy memberi Anda tiga blok penyusun: Doc, Token, dan Span. Pelajari ketiganya, lalu seluruh pustaka ini akan terbuka bagi Anda.
Wadah Doc
Doc adalah dokumen yang telah diproses sepenuhnya. Objek ini menyimpan teks asli, setiap token, dan semua analisis yang dihasilkan spaCy.
doc = nlp("Maria leads the data team.")Indeks Seperti Daftar
Anda dapat mengambil satu item berdasarkan posisinya karena Doc dapat diindeks. Pengindeksan mengembalikan satu Token, seperti pada daftar Python.
first = doc[0]Isi Sebuah Token
Token adalah satu unit teks beserta metadata yang kaya: kelas katanya, lema, dan informasi apakah token tersebut merupakan tanda baca.
print(doc[0].text, doc[0].pos_)Penanda Token yang Berguna
Token memiliki penanda praktis seperti is_stop, is_alpha, dan is_punct. Penanda ini memungkinkan Anda menyaring kata tanpa menulis pemeriksaan sendiri.
for t in doc:
print(t.text, t.is_stop)Iris untuk Mendapatkan Span
Iris sebuah Doc dan Anda akan mendapatkan Span, yaitu rangkaian token yang berurutan. Span sangat cocok untuk frasa seperti nama orang atau tempat.
phrase = doc[0:2]Span Mempertahankan Konteks
Span bukan salinan. Span tetap menunjuk kembali ke dalam Doc, sehingga mengetahui posisinya dan berbagi seluruh analisis asli.
Entitas Berupa Span
Entitas bernama muncul sebagai Span dalam doc.ents. Setiap entitas menggabungkan kata-kata beserta label seperti PERSON atau ORG.
for ent in doc.ents:
print(ent.text, ent.label_)Potongan Nomina
spaCy juga menyediakan noun_chunks, yaitu frasa nomina dasar yang disajikan sebagai Span. Fitur ini merupakan cara cepat untuk mengambil hal-hal yang dibicarakan dalam sebuah kalimat.
list(doc.noun_chunks)Kalimat sebagai Span
Membutuhkan kalimat? Iterasikan doc.sents. Setiap kalimat dikembalikan sebagai Span, sehingga segmentasi sudah ditangani untuk Anda.
for sent in doc.sents:
print(sent.text)Teks Asli Tetap Ada
Dalam semua proses ini, string asli dipertahankan dalam doc.text. Token dan span adalah tampilan, bukan perubahan yang merusak data.
Pemeriksaan Singkat
Apa yang Anda dapatkan saat mengiris Doc dengan doc[0:3]?
Ringkasan
Doc menyimpan semuanya, pengindeksan menghasilkan satu Token, dan pengirisan menghasilkan Span. Entitas, potongan nomina, dan kalimat semuanya hadir sebagai Span. 🧩
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Token, Span, dan Objek Doc” gratis?
Ya — teks lengkap “Token, Span, dan Objek Doc” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Token, Span, dan Objek Doc”?
Menjelajahi struktur data spaCy Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 3 dari 4.
Berapa lama pelajaran “Token, Span, dan Objek Doc” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Mengapa spaCy untuk Proyek Nyata
- Memuat Model dan Memproses Dokumen
- Token, Span, dan Objek Doc
- Menyesuaikan Alur Pemrosesan