Belirteçleme ve Kelime Dağarcığı Oluşturma
Metni tam sayı kimliklerine eşleyin.
Belirteçleme ve Kelime Dağarcığı Oluşturma, CoddyKit'te ücretsiz bir Deep Learning Academy dersidir. Bu, 4 dersinin 1. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Deep Learning Academy öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Deep Learning Academy kursu toplamda 4 dersten oluşur.
Ağlar Yalnızca Sayıları İşler
Bir sinir ağı ham harfleri okuyamaz. Öğrenme başlamadan önce metni, modelin işleyebileceği sayılara dönüştürmeniz gerekir. 🔢
İlk Adım: Belirteçlere Ayırma
Belirteçlere ayırmak, metni belirteç adı verilen küçük parçalara bölmek demektir. En basit seçenek, cümleyi boşluklardan bölerek kelimelere ayırmaktır.
text = "I love deep learning"
tokens = text.split()
# ["I", "love", "deep", "learning"]Belirteçler Daha Küçük Olabilir
Bir belirtecin tam bir kelime olması gerekmez. Bir karakter veya alt kelime parçası olabilir; bu da modelin nadir ya da daha önce görülmemiş kelimeleri işlemesine yardımcı olur.
Bir Sözlük Oluşturun
Sözlük, modelinizin bildiği tüm benzersiz belirteçlerin kümesidir. Eğitim metninizdeki her farklı belirteci toplarsınız.
Her Belirtece Bir Kimlik Verin
Her benzersiz belirtece bir tamsayı kimlik verilir. Belirteçten kimliğe yapılan bu eşleme, kelimelerin ağın indeksleyebileceği sayılara dönüşmesini sağlar.
vocab = {"i": 0, "love": 1, "deep": 2, "learning": 3}Bir Cümleyi Kodlayın
Metni kodlamak için her belirteci sözlükte arar ve kimliğiyle değiştirirsiniz. Böylece bir tamsayı listesi elde edilir.
ids = [vocab[t] for t in ["i", "love", "deep"]]
# [0, 1, 2]Bilinmeyen Kelimeleri İşleyin
Test sırasında karşılaşılan bazı belirteçler eğitimde hiç görülmemiş olabilir. Modelin yine de geçerli bir kimlik alması için bunları özel bir bilinmeyen belirteçle eşleyin.
unk_id = vocab.get("dragons", vocab["<unk>"])Özel Belirteçler Yardımcı Olur
Dolgu, başlangıç ve bitiş işaretleri gibi özel belirteçler ekleyin. Bunlar modele yalnızca kelimelerin ötesinde bir yapı kazandırır.
Küçük Harfe Dönüştürün ve Temizleyin
Metni küçük harfe dönüştürerek ve noktalama işaretlerini kaldırarak normalleştirmek, sözlüğü küçültür; böylece Cat ve cat tek bir kimliği paylaşır.
Sözlük Boyutunu Sınırlayın
Gerçek derlemlerin sözlükleri çok büyüktür. Sözlük boyutunu kontrol etmek için yalnızca en sık kullanılan belirteçleri tutun; geri kalanlar bilinmeyen belirteç olur.
Artık Metin Bir tensordur
Kodlandıktan sonra bir cümle, tensor içine sarabileceğiniz kimlikler listesidir. Ham metinden model girdisine uzanan işlem hattı tamamlanmıştır.
import torch
ids = torch.tensor([0, 1, 2, 3])Hızlı Kontrol
Sözlük oluşturmak, her benzersiz belirtece ne verir?
Özet
Metni belirteçlere ayırır, benzersiz olanları bir sözlükte toplar ve metnin sayılara dönüşmesi için her birini tamsayı kimliğiyle eşlersiniz. ✅
Yapay zeka eğitmeniyle Python öğren — ücretsiz
Tarayıcında gerçek kod yaz ve çalıştır, 7/24 yapay zeka eğitmeninden anında yardım al; web'de ya da uygulamada kaldığın yerden devam et.
- Kurslar
- 30
- Dersler
- 120
Sıkça Sorulan Sorular
“Belirteçleme ve Kelime Dağarcığı Oluşturma” dersi ücretsiz mi?
Evet — “Belirteçleme ve Kelime Dağarcığı Oluşturma” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Deep Learning Academy kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Deep Learning Academy kursu toplamda 4 dersten oluşur.
“Belirteçleme ve Kelime Dağarcığı Oluşturma” dersinde ne öğreneceğim?
Metni tam sayı kimliklerine eşleyin. Deep Learning Academy ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
Deep Learning Academy öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te Deep Learning Academy, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 1. dersidir.
“Belirteçleme ve Kelime Dağarcığı Oluşturma” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu Deep Learning Academy dersinde kod yazıp çalıştırabilir miyim?
Evet. Her Deep Learning Academy dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- Belirteçleme ve Kelime Dağarcığı Oluşturma
- nn.Embedding: Öğrenilebilir Kelime Vektörleri
- Gömme Temsilleri Anlamı Neden Yakalar
- Bir Metin Sınıflandırıcısı Eğitme