Tokenizzare e creare un vocabolario
Mappi il testo su ID interi
Tokenizzare e creare un vocabolario è una lezione Deep Learning Academy gratuita su CoddyKit. Questa è la lezione 1 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento Deep Learning Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso Deep Learning Academy include 4 lezioni in totale.
Le reti mangiano solo numeri
Una rete neurale non può leggere lettere non elaborate. Prima di qualsiasi apprendimento, deve trasformare il testo in numeri che il modello possa elaborare. 🔢
Primo passaggio: tokenizzare
Tokenizzare significa dividere il testo in piccole parti chiamate token. La scelta più semplice consiste nel dividere una frase in parole usando gli spazi.
text = "I love deep learning"
tokens = text.split()
# ["I", "love", "deep", "learning"]I token possono essere più piccoli
Un token non deve necessariamente essere una parola intera. Può essere un carattere o una parte di parola, aiutando il modello a gestire parole rare o mai viste.
Creare un vocabolario
Un vocabolario è l'insieme completo dei token unici conosciuti dal modello. Si raccolgono tutti i token distinti presenti nel testo di addestramento.
Assegnare un id a ogni token
A ogni token univoco viene assegnato un id intero. Questa corrispondenza tra token e id è il modo in cui le parole diventano numeri indicizzabili dalla rete.
vocab = {"i": 0, "love": 1, "deep": 2, "learning": 3}Codificare una frase
Per codificare il testo, si cerca ogni token nel vocabolario e lo si sostituisce con il relativo id, ottenendo un elenco di interi.
ids = [vocab[t] for t in ["i", "love", "deep"]]
# [0, 1, 2]Gestire le parole sconosciute
Alcuni token presenti durante il test potrebbero non essere mai comparsi nell'addestramento. Li si associa a un token speciale sconosciuto, così il modello riceve comunque un id valido.
unk_id = vocab.get("dragons", vocab["<unk>"])I token speciali sono utili
Aggiunga token speciali come il padding e i marcatori di inizio e fine. Forniscono al modello una struttura che va oltre le semplici parole.
Convertire in minuscolo e ripulire
Normalizzare il testo con la conversione in minuscolo e rimuovendo la punteggiatura riduce le dimensioni del vocabolario, così Cat e cat condividono un unico id.
Limitare le dimensioni del vocabolario
I corpora reali hanno vocabolari enormi. Mantenga solo i token più frequenti per controllare le dimensioni del vocabolario; gli altri diventano sconosciuti.
Ora il testo è un tensore
Una volta codificata, una frase è un elenco di id che può essere racchiuso in un tensore. La pipeline dal testo grezzo all'input del modello è completa.
import torch
ids = torch.tensor([0, 1, 2, 3])Controllo rapido
Cosa assegna la creazione di un vocabolario a ogni token univoco?
Riepilogo
Si divide il testo in token, si raccolgono quelli unici in un vocabolario e si associa ciascuno a un id intero, affinché il testo diventi numeri. ✅
Domande Frequenti
La lezione «Tokenizzare e creare un vocabolario» è gratuita?
Sì — il testo completo di «Tokenizzare e creare un vocabolario» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso Deep Learning Academy, passa a CoddyKit PRO. Il corso Deep Learning Academy include 4 lezioni in totale.
Cosa imparerò in «Tokenizzare e creare un vocabolario»?
Mappi il testo su ID interi Eserciti Deep Learning Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare Deep Learning Academy?
Non è richiesta alcuna esperienza precedente. Deep Learning Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 1 di 4.
Quanto tempo richiede la lezione «Tokenizzare e creare un vocabolario»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione Deep Learning Academy?
Sì. Ogni lezione Deep Learning Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Tokenizzare e creare un vocabolario
- nn.Embedding: vettori di parole apprendibili
- Perché gli embedding catturano il significato
- Addestrare un classificatore di testo