Tur Pustaka Transformers
Model, tokenizer, dan alur pemrosesan
Tur Pustaka Transformers adalah pelajaran NLP Academy gratis di CoddyKit. Ini adalah pelajaran 1 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar NLP Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus NLP Academy mencakup 4 pelajaran total.
Kenali Transformers
Hugging Face Transformers adalah pustaka Python pilihan untuk menggunakan dan menyempurnakan model bahasa tercanggih dengan kode yang sangat sedikit. 🤗
Cukup Satu Instalasi
Anda menambahkan pustaka ke proyek dengan satu perintah pip, dan tiba-tiba ribuan model yang telah dilatih siap digunakan.
pip install transformersTiga Pilar
Hampir semua hal yang Anda lakukan bertumpu pada tiga komponen dasar: sebuah model, tokenizer, dan pipeline tingkat tinggi yang menghubungkan keduanya.
Apa Itu Model
Sebuah model menyimpan bobot yang telah dipelajari dari transformer seperti BERT atau GPT. Model mengubah angka input menjadi prediksi seperti label atau teks.
Fungsi Tokenizer
Sebuah tokenizer mengubah teks mentah Anda menjadi id bilangan bulat yang diharapkan model, lalu mengubah output kembali menjadi teks yang dapat dibaca.
Pipeline Menyembunyikan Pengaturan
Sebuah pipeline menggabungkan tokenizer dan model menjadi satu objek yang dapat dipanggil, sehingga Anda dapat menjalankan tugas dalam satu baris tanpa pengaturan manual.
from transformers import pipeline
clf = pipeline("sentiment-analysis")Jalankan Tugas Pertama Anda
Setelah dibuat, Anda memanggil pipeline seperti fungsi dan pipeline mengembalikan hasil yang rapi beserta label dan skor keyakinan.
print(clf("I love this library!"))Hub Model
Hugging Face Hub menyediakan model bersama yang Anda muat berdasarkan nama, sehingga Anda jarang perlu melatih apa pun dari awal.
Kelas Otomatis
Pembantu seperti AutoModel dan AutoTokenizer memilih kelas yang tepat untuk setiap titik pemeriksaan, sehingga satu baris kode dapat digunakan pada banyak arsitektur.
from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("bert-base-uncased")Tugas yang Tersedia Langsung
Pipeline langsung mendukung banyak pekerjaan: klasifikasi, pengenalan entitas bernama, peringkasan, penerjemahan, dan penjawaban pertanyaan.
Dari Menggunakan ke Menyesuaikan
Pipeline sangat bagus untuk mencoba model, tetapi agar model benar-benar menjadi milik Anda, nanti dalam kursus ini Anda akan melakukan penyempurnaan menggunakan data Anda sendiri.
Pemeriksaan Singkat
Komponen apa yang mengubah teks mentah menjadi id bilangan bulat yang dapat dibaca model?
Ringkasan
Transformers menyediakan model, tokenizer, dan pipeline. Muat titik pemeriksaan dari Hub dan jalankan tugas NLP nyata hanya dalam beberapa baris. ✅
Belajar Python dengan tutor AI — gratis
Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Tur Pustaka Transformers” gratis?
Ya — teks lengkap “Tur Pustaka Transformers” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus NLP Academy, upgrade ke CoddyKit PRO. Kursus NLP Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Tur Pustaka Transformers”?
Model, tokenizer, dan alur pemrosesan Kamu berlatih NLP Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai NLP Academy?
Tidak diperlukan pengalaman sebelumnya. NLP Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 1 dari 4.
Berapa lama pelajaran “Tur Pustaka Transformers” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran NLP Academy ini?
Ya. Setiap pelajaran NLP Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Tur Pustaka Transformers
- Melakukan Tokenisasi untuk Model Transformer
- Penyetelan Halus dengan API Trainer
- Mengevaluasi dan Menyimpan Model Anda