Dostrajać model Hugging Face
Dostosować wstępnie wytrenowany transformer do własnych danych
Dostrajać model Hugging Face to bezpłatna lekcja Deep Learning Academy na CoddyKit. To lekcja 4 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej Deep Learning Academy, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs Deep Learning Academy zawiera 4 lekcji w sumie.
Centrum wstępnie wytrenowanych modeli
Hugging Face udostępnia tysiące gotowych transformatorów do tekstu, obrazu i dźwięku. Można dostroić jeden z nich na własnych danych w kilka minut. 🤗
Zainstaluj Transformers
Biblioteka transformers udostępnia modele, tokenizery i narzędzia do trenowania w jednym pakiecie.
pip install transformers datasetsWczytaj tokenizer
Najpierw tekst musi zostać zamieniony na liczby. Tokenizer dołączony do każdego modelu dokładnie wie, jak podzielić i zakodować tekst.
from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained('bert-base-uncased')Wczytaj model z nową głowicą
Wybierz klasę odpowiednią do swojego zadania. AutoModelForSequenceClassification wczytuje backbone i dołącza nową głowicę klasyfikatora dla Państwa etykiet.
from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)Tokenizuj swój zbiór danych
Przepuść każdy przykład przez tokenizer z dopełnianiem i obcinaniem, aby wszystkie dane wejściowe miały tę samą długość.
def encode(b):
return tok(b['text'], truncation=True, padding='max_length')TrainingArguments
TrainingArguments grupuje hiperparametry: współczynnik uczenia, rozmiar partii, liczbę epok oraz miejsce zapisu checkpointów.
from transformers import TrainingArguments
args = TrainingArguments(output_dir='out', learning_rate=2e-5, num_train_epochs=3)Utrzymuj niski współczynnik
Zauważ, że współczynnik wynosi zaledwie 2e-5. Tak jak w przypadku każdego dostrajania, mały współczynnik uczenia chroni wstępnie wytrenowane wagi przed zniszczeniem.
Klasa Trainer
Klasa Trainer obejmuje całą pętlę: przebieg w przód, obliczenie straty, przebieg wsteczny, krok optymalizacji i ewaluację. Nie trzeba pisać jej ręcznie.
from transformers import Trainer
trainer = Trainer(model=model, args=args, train_dataset=train_ds)Trenuj jednym wywołaniem
Gdy wszystko jest już połączone, rozpocznij dostrajanie jednym wywołaniem train i obserwuj spadek straty.
trainer.train()Oceń model i wykonuj predykcje
Po trenowaniu wywołaj evaluate, aby obliczyć metryki dla odłożonych danych, a następnie użyj predict do oceniania zupełnie nowych przykładów.
trainer.evaluate()Zapisz i udostępnij
Zapisz dostrojony model za pomocą save_pretrained, a następnie wczytaj go w dowolnym miejscu lub wypchnij do Huba, aby inni mogli z niego korzystać.
model.save_pretrained('my-classifier')Szybkie sprawdzenie
Która klasa Hugging Face uruchamia za Państwa całą pętlę trenowania, dzięki czemu nie trzeba pisać jej ręcznie?
Podsumowanie
Stokenizowali Państwo dane, wczytali model z nową głowicą, ustawili niski współczynnik w TrainingArguments i dostroili model za pomocą klasy Trainer. 🎯
Ucz się Python dzięki korepetycjom AI — za darmo
Pisz i uruchamiaj kod w przeglądarce, otrzymuj natychmiastową pomoc od korepetytora AI dostępnego 24/7 i kontynuuj naukę w sieci lub w aplikacji.
- Kursy
- 30
- Lekcje
- 120
Często zadawane pytania
Czy lekcja „Dostrajać model Hugging Face” jest bezpłatna?
Tak — pełny tekst „Dostrajać model Hugging Face” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu Deep Learning Academy, przejdź na CoddyKit PRO. Kurs Deep Learning Academy zawiera 4 lekcji w sumie.
Co nauczysz się w „Dostrajać model Hugging Face”?
Dostosować wstępnie wytrenowany transformer do własnych danych Ćwiczysz Deep Learning Academy z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć Deep Learning Academy?
Nie wymagamy żadnego doświadczenia. Deep Learning Academy w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 4 z 4.
Ile czasu zajmuje lekcja „Dostrajać model Hugging Face”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji Deep Learning Academy?
Tak. Każda lekcja Deep Learning Academy zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Zamrozić backbone i trenować head
- Dostrajać model z mniejszym learning rate
- Różne learning rates dla poszczególnych warstw
- Dostrajać model Hugging Face