Masked language modeling
Jak BERT uczy się na surowym tekście
Masked language modeling to bezpłatna lekcja NLP Academy na CoddyKit. To lekcja 2 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej NLP Academy, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs NLP Academy zawiera 4 lekcji w sumie.
Uczenie bez etykiet
BERT trenuje się na zwykłym tekście, bez żadnych etykiet tworzonych przez człowieka. Ten sprytny sposób nazywa się uczeniem self-supervised.
Gra w uzupełnianie luk
BERT uczy się, ukrywając niektóre słowa i odgadując je. Ta gra to masked language modeling, w skrócie MLM.
Ukrywanie słowa
Losowe słowo zostaje zamienione na specjalny symbol zastępczy. W tym przypadku model musi odtworzyć to, co zakrywa mask.
text = "the cat sat on the [MASK]"
# model should predict: matPrzewidywanie brakującego słowa
BERT odczytuje wszystko wokół luki i szereguje prawdopodobne uzupełnienia. Trafne przewidywania wynikają z wykorzystania pełnego kontekstu.
Dlaczego ukrywanie pomaga
Aby dobrze uzupełnić lukę, model musi nauczyć się gramatyki, faktów i zależności między słowami. Luka wymusza prawdziwe zrozumienie.
Słynne 15 procent
Podczas trenowania BERT maskuje około 15 procent słów w każdym zdaniu. Ten odsetek równoważy ilość informacji i trudność.
Obie strony jednocześnie
W przeciwieństwie do modeli działających od lewej do prawej BERT widzi słowa przed luką i po niej. To dwukierunkowe spojrzenie znacznie wzbogaca jego przewidywania.
Drugie zadanie
Oryginalny BERT przewidywał również, czy jedno zdanie następuje po drugim. To dodatkowe zadanie, next sentence prediction, uczy model rozumienia ciągłości tekstu.
Najpierw pre-training, potem ponowne użycie
Ten powolny i kosztowny etap MLM to pre-training. Później można pobrać jego wynik i używać go ponownie bez powtarzania całego procesu.
Wypróbujmy to w kodzie
Pipeline fill-mask pozwala obserwować MLM w działaniu i sprawdzać, jak BERT szereguje najlepsze przewidywania dla dowolnej luki.
from transformers import pipeline
fm = pipeline("fill-mask", model="bert-base-uncased")
fm("Paris is the [MASK] of France.")Wiedza za darmo
Po zakończeniu MLM BERT dysponuje ogromnym zasobem wiedzy językowej, gotowym do wykorzystania w Państwa zadaniach. Cała ta wiedza pochodzi z surowego tekstu.
Szybkie sprawdzenie
Co nakazuje BERT-owi zrobić masked language modeling?
Podsumowanie
BERT uczy się, uzupełniając zamaskowane luki z wykorzystaniem obu stron zdania. To samonadzorowane MLM buduje głęboką wiedzę językową. ✅
Ucz się Python dzięki korepetycjom AI — za darmo
Pisz i uruchamiaj kod w przeglądarce, otrzymuj natychmiastową pomoc od korepetytora AI dostępnego 24/7 i kontynuuj naukę w sieci lub w aplikacji.
- Kursy
- 30
- Lekcje
- 120
Często zadawane pytania
Czy lekcja „Masked language modeling” jest bezpłatna?
Tak — pełny tekst „Masked language modeling” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu NLP Academy, przejdź na CoddyKit PRO. Kurs NLP Academy zawiera 4 lekcji w sumie.
Co nauczysz się w „Masked language modeling”?
Jak BERT uczy się na surowym tekście Ćwiczysz NLP Academy z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć NLP Academy?
Nie wymagamy żadnego doświadczenia. NLP Academy w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 2 z 4.
Ile czasu zajmuje lekcja „Masked language modeling”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji NLP Academy?
Tak. Każda lekcja NLP Academy zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Dlaczego kontekst zmienia znaczenie słowa
- Masked language modeling
- Tworzenie embeddingów zdań za pomocą BERT
- Wybór właściwego wstępnie wytrenowanego modelu