Sebenarnya, Apa Itu Token?

token adalah unit terkecil teks yang digunakan oleh kode Anda. Sebelum analisis apa pun, Anda memecah kalimat menjadi bagian-bagian kecil ini. 🧩

Sering kali, token hanyalah sebuah word. Kalimat I love cats menjadi tiga token: I, love, dan cats.

Tanda baca dapat menjadi token tersendiri. Memisahkan Hi, there! menghasilkan Hi, comma, there, dan tanda seru sebagai bagian-bagian terpisah.

Komputer tidak dapat membaca kalimat sebagai satu gumpalan. Tokenizing mengubah teks yang berantakan menjadi daftar rapi yang dapat dihitung dan dibandingkan oleh program Anda.

Dalam Python, token biasanya berada di dalam sebuah list berisi string. Daftar ini menjadi titik awal hampir setiap tugas NLP yang akan Anda bangun.

Token adalah unit yang digunakan NLP untuk mengukur segala sesuatu. Jumlah kata, kosakata, dan fitur semuanya berawal dari gagasan tunggal ini.

Token tidak selalu berupa kata lengkap. Model modern sering menggunakan subwords, dengan memecah unhappiness menjadi un, happi, dan ness untuk menangani kata-kata langka.

Bagaimana dengan don't? Tokenizer cerdas mungkin memecahnya menjadi do dan n't, karena hal itu menangkap kata tersembunyi not.

Token bukan hanya huruf. Harga seperti $5 atau tahun seperti 2024 juga merupakan tokens, dan cara Anda memisahkannya sangat penting.

Tindakan memecah teks menjadi token disebut tokenization. Ini merupakan langkah nyata pertama dalam hampir setiap pipeline NLP yang akan Anda tulis.

Tidak ada satu cara yang selalu benar untuk melakukan tokenisasi. rules yang Anda pilih memengaruhi setiap hitungan dan hasil berikutnya, sehingga perlu dipikirkan dengan matang.

Anda mempelajari bahwa token adalah unit dasar teks: kata, simbol, atau bahkan subkata. Tokenisasi memecah teks menjadi daftar rapi untuk diproses.