Modelagem de linguagem mascarada
Como BERT aprende com texto bruto.
Modelagem de linguagem mascarada é uma aula grátis de NLP Academy no CoddyKit. Esta é a aula 2 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de NLP Academy, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de NLP Academy inclui 4 aulas no total.
Partes desta aula ainda não foram traduzidas e aparecem em inglês.
Learning Without Labels
BERT trains on plain text with no human labels at all. This clever trick is called self-supervised learning.
The Fill-in-the-Blank Game
BERT learns by hiding some words and guessing them back. That game is masked language modeling, or MLM for short.
Hiding a Word
A random word gets swapped for a special placeholder. Here the model must recover what the mask is covering up.
text = "the cat sat on the [MASK]"
# model should predict: matPredict the Missing Word
BERT reads everything around the blank and ranks likely fills. Strong guesses come from using the full context.
Why Hiding Helps
To fill a blank well, the model must learn grammar, facts, and word relationships. The blank forces real understanding.
The Famous 15 Percent
BERT masks about 15 percent of the words in each sentence during training. That ratio balances signal and difficulty.
Both Sides at Once
Unlike left-to-right models, BERT sees words before and after the blank. This bidirectional view makes its guesses far richer.
A Second Task
Original BERT also guessed if one sentence follows another. That extra job is next sentence prediction, teaching it about flow.
Pre-training, Then Reuse
This slow, expensive MLM phase is the pre-training step. You download the result and reuse it without redoing the work.
Try It in Code
A fill-mask pipeline lets you watch MLM in action and see BERT rank its top predictions for any blank.
from transformers import pipeline
fm = pipeline("fill-mask", model="bert-base-uncased")
fm("Paris is the [MASK] of France.")Knowledge for Free
After MLM, BERT holds a huge store of language knowledge ready to power your tasks. All of it came from raw text.
Quick Check
What does masked language modeling ask BERT to do?
Recap
BERT learns by filling masked blanks using both sides of a sentence. This self-supervised MLM builds deep language knowledge. ✅
Perguntas Frequentes
A aula “Modelagem de linguagem mascarada” é grátis?
Sim — o texto completo de “Modelagem de linguagem mascarada” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de NLP Academy, atualize para CoddyKit PRO. O curso de NLP Academy inclui 4 aulas no total.
O que vou aprender em “Modelagem de linguagem mascarada”?
Como BERT aprende com texto bruto. Você pratica NLP Academy com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar NLP Academy?
Nenhuma experiência prévia é necessária. NLP Academy no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 2 de 4.
Quanto tempo leva a aula “Modelagem de linguagem mascarada”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de NLP Academy?
Sim. Cada aula de NLP Academy inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Por que o contexto muda o significado das palavras
- Modelagem de linguagem mascarada
- Gerando embeddings de frases com BERT
- Escolhendo o modelo pré-treinado certo