Fare il fine-tuning di un modello Hugging Face
Adatti un Transformer preaddestrato ai Suoi dati
Fare il fine-tuning di un modello Hugging Face è una lezione Deep Learning Academy gratuita su CoddyKit. Questa è la lezione 4 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento Deep Learning Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso Deep Learning Academy include 4 lezioni in totale.
Parti di questa lezione non sono ancora state tradotte e vengono mostrate in inglese.
A Hub of Pretrained Models
Hugging Face hosts thousands of ready-to-use transformers for text, vision, and audio. You can fine-tune one on your own data in minutes. 🤗
Install Transformers
The transformers library gives you models, tokenizers, and training tools in one package.
pip install transformers datasetsLoad a Tokenizer
Text must become numbers first. The tokenizer that ships with each model knows exactly how to split and encode your text.
from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained('bert-base-uncased')Load a Model With a New Head
Pick a class for your task. AutoModelForSequenceClassification loads the backbone and attaches a fresh classifier head for your labels.
from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)Tokenize Your Dataset
Run every example through the tokenizer with padding and truncation so all inputs share the same length.
def encode(b):
return tok(b['text'], truncation=True, padding='max_length')TrainingArguments
TrainingArguments bundles your hyperparameters: learning rate, batch size, epochs, and where to save checkpoints.
from transformers import TrainingArguments
args = TrainingArguments(output_dir='out', learning_rate=2e-5, num_train_epochs=3)Keep That Rate Low
Notice the rate is just 2e-5. As with any fine-tune, a small learning rate protects the pretrained weights from being wrecked.
The Trainer
The Trainer class wraps the whole loop: forward pass, loss, backward, step, and evaluation. You skip writing it by hand.
from transformers import Trainer
trainer = Trainer(model=model, args=args, train_dataset=train_ds)Train in One Call
Once everything is wired up, kick off fine-tuning with a single train call and watch the loss fall.
trainer.train()Evaluate and Predict
After training, call evaluate for metrics on held-out data, then use predict to score brand-new examples.
trainer.evaluate()Save and Share
Persist your tuned model with save_pretrained, then reload it anywhere or push it to the Hub for others to use.
model.save_pretrained('my-classifier')Quick Check
Which Hugging Face class runs the full training loop for you so you don't write it by hand?
Recap
You tokenized data, loaded a model with a fresh head, set a low rate in TrainingArguments, and fine-tuned it with the Trainer. 🎯
Domande Frequenti
La lezione «Fare il fine-tuning di un modello Hugging Face» è gratuita?
Sì — il testo completo di «Fare il fine-tuning di un modello Hugging Face» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso Deep Learning Academy, passa a CoddyKit PRO. Il corso Deep Learning Academy include 4 lezioni in totale.
Cosa imparerò in «Fare il fine-tuning di un modello Hugging Face»?
Adatti un Transformer preaddestrato ai Suoi dati Eserciti Deep Learning Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare Deep Learning Academy?
Non è richiesta alcuna esperienza precedente. Deep Learning Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 4 di 4.
Quanto tempo richiede la lezione «Fare il fine-tuning di un modello Hugging Face»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione Deep Learning Academy?
Sì. Ogni lezione Deep Learning Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Bloccare il backbone e addestrare la head
- Fine-tuning con un learning rate più basso
- Learning rate discriminativi per layer
- Fare il fine-tuning di un modello Hugging Face