Classificazione del testo con BERT
Transformers di HuggingFace, AutoTokenizer, AutoModelForSequenceClassification, fine-tuning
Classificazione del testo con BERT è una lezione Learn AI with Python gratuita su CoddyKit. Questa è la lezione 3 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento Learn AI with Python, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso Learn AI with Python include 4 lezioni in totale.
I limiti degli embedding statici
Word2Vec e GloVe assegnano a ogni parola un unico vettore fisso. Tuttavia, «bank» ha significati diversi in «river bank» e «savings bank». I modelli contestuali come BERT risolvono questo problema.
Che cos'è BERT
BERT è un modello transformer che legge un'intera frase contemporaneamente e produce embedding sensibili al contesto. Preaddestrato su enormi quantità di testo, può essere ottimizzato per attività come la classificazione.
La libreria transformers di Hugging Face
La libreria transformers offre un accesso semplice a BERT e a migliaia di modelli preaddestrati, con classi uniformi per tokenizer e modelli.
from transformers import AutoTokenizer, AutoModelForSequenceClassification
name = "distilbert-base-uncased-finetuned-sst-2-english"
tokenizer = AutoTokenizer.from_pretrained(name)
model = AutoModelForSequenceClassification.from_pretrained(name)AutoTokenizer
AutoTokenizer carica il tokenizer corretto per un modello. Suddivide il testo in token di sottoparole e li associa agli ID richiesti dal modello.
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
print(tokenizer.tokenize("unbelievable"))
# subwords like ["un", "##bel", "##ievable"]AutoModelForSequenceClassification
AutoModelForSequenceClassification carica BERT con una testa di classificazione, che restituisce un punteggio per ogni classe dell'intera sequenza.
from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained(
"distilbert-base-uncased-finetuned-sst-2-english"
)Tokenizzazione dell'input
Chiami il tokenizer sul testo con truncation, padding e return_tensors per ottenere tensori pronti per il modello. La troncatura limita la lunghezza degli input; il padding uniforma le lunghezze all'interno del batch.
inputs = tokenizer(
"This movie was fantastic!",
truncation=True,
padding=True,
return_tensors="pt",
)
print(inputs["input_ids"].shape)I token speciali
BERT aggiunge automaticamente token speciali: [CLS] all'inizio (il cui stato nascosto riassume la sequenza) e [SEP] tra le frasi e dopo di esse. Il classificatore legge la rappresentazione di [CLS].
Esecuzione del modello
Passi gli input tokenizzati al modello per ottenere i logit, ovvero i punteggi grezzi e non normalizzati delle classi.
import torch
with torch.no_grad():
outputs = model(**inputs)
logits = outputs.logits
print(logits)Dai logit alle predizioni
Applichi softmax ai logit per ottenere le probabilità, quindi argmax per ottenere l'indice della classe predetta. Associ quell'indice a un'etichetta.
import torch
probs = torch.softmax(logits, dim=-1)
pred = torch.argmax(probs, dim=-1).item()
print(model.config.id2label[pred])Fine-tuning per la propria attività
Per un dataset personalizzato, esegua il fine-tuning di BERT addestrando la testa di classificazione (ed eventualmente l'intero modello) sui Suoi esempi etichettati. L'API Trainer gestisce il ciclo di addestramento.
from transformers import Trainer, TrainingArguments
args = TrainingArguments(output_dir="out", num_train_epochs=3)
trainer = Trainer(model=model, args=args, train_dataset=train_ds)
trainer.train()La scorciatoia pipeline
Per un'inferenza rapida, l'helper pipeline raggruppa tokenizzazione, esecuzione e decodifica in un'unica chiamata, ideale per la prototipazione.
from transformers import pipeline
clf = pipeline("sentiment-analysis")
print(clf("I love this product!"))
# [{"label": "POSITIVE", "score": 0.99...}]Verifica rapida
Verifichi le Sue conoscenze su BERT.
Riepilogo
Riepilogo: BERT produce embedding sensibili al contesto tramite i transformer. Utilizzi AutoTokenizer per tokenizzare con truncation/padding/return_tensors e AutoModelForSequenceClassification per ottenere i logit. Converta i logit con softmax e poi argmax. Esegua il fine-tuning con Trainer oppure prototipi rapidamente con pipeline.
Impara Python con un tutor IA — gratis
Scrivi ed esegui vero codice nel tuo browser, ricevi aiuto istantaneo da un tutor IA disponibile 24/7, e riprendi da dove hai lasciato sul web o nell'app.
- Corsi
- 53
- Lezioni
- 225
Domande Frequenti
La lezione «Classificazione del testo con BERT» è gratuita?
Sì — il testo completo di «Classificazione del testo con BERT» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso Learn AI with Python, passa a CoddyKit PRO. Il corso Learn AI with Python include 4 lezioni in totale.
Cosa imparerò in «Classificazione del testo con BERT»?
Transformers di HuggingFace, AutoTokenizer, AutoModelForSequenceClassification, fine-tuning Eserciti Learn AI with Python con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare Learn AI with Python?
Non è richiesta alcuna esperienza precedente. Learn AI with Python su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 3 di 4.
Quanto tempo richiede la lezione «Classificazione del testo con BERT»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione Learn AI with Python?
Sì. Ogni lezione Learn AI with Python include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Word2Vec: Skip-gram e CBOW
- Embedding GloVe e FastText
- Classificazione del testo con BERT
- Similarità semantica ed embedding delle frasi