Modelado de lenguaje enmascarado
Cómo BERT aprende a partir de texto sin procesar
Modelado de lenguaje enmascarado es una lección gratuita de NLP Academy en CoddyKit. Esta es la lección 2 de 4. Puedes leer la lección completa abajo gratuitamente — luego la practicas en el navegador con un editor de código integrado y un tutor de IA 24/7. Forma parte de la ruta de aprendizaje de NLP Academy, y tu progreso se sincroniza en la web y la app de CoddyKit. El curso de NLP Academy incluye 4 lecciones en total.
Partes de esta lección aún no han sido traducidas y se muestran en inglés.
Learning Without Labels
BERT trains on plain text with no human labels at all. This clever trick is called self-supervised learning.
The Fill-in-the-Blank Game
BERT learns by hiding some words and guessing them back. That game is masked language modeling, or MLM for short.
Hiding a Word
A random word gets swapped for a special placeholder. Here the model must recover what the mask is covering up.
text = "the cat sat on the [MASK]"
# model should predict: matPredict the Missing Word
BERT reads everything around the blank and ranks likely fills. Strong guesses come from using the full context.
Why Hiding Helps
To fill a blank well, the model must learn grammar, facts, and word relationships. The blank forces real understanding.
The Famous 15 Percent
BERT masks about 15 percent of the words in each sentence during training. That ratio balances signal and difficulty.
Both Sides at Once
Unlike left-to-right models, BERT sees words before and after the blank. This bidirectional view makes its guesses far richer.
A Second Task
Original BERT also guessed if one sentence follows another. That extra job is next sentence prediction, teaching it about flow.
Pre-training, Then Reuse
This slow, expensive MLM phase is the pre-training step. You download the result and reuse it without redoing the work.
Try It in Code
A fill-mask pipeline lets you watch MLM in action and see BERT rank its top predictions for any blank.
from transformers import pipeline
fm = pipeline("fill-mask", model="bert-base-uncased")
fm("Paris is the [MASK] of France.")Knowledge for Free
After MLM, BERT holds a huge store of language knowledge ready to power your tasks. All of it came from raw text.
Quick Check
What does masked language modeling ask BERT to do?
Recap
BERT learns by filling masked blanks using both sides of a sentence. This self-supervised MLM builds deep language knowledge. ✅
Preguntas frecuentes
¿La lección «Modelado de lenguaje enmascarado» es gratis?
Sí — el texto completo de «Modelado de lenguaje enmascarado» es gratis para leer aquí en la web. Para practicarla de forma interactiva (editor de código integrado y tutor de IA 24/7) y desbloquear el resto del curso de NLP Academy, actualiza a CoddyKit PRO. El curso de NLP Academy incluye 4 lecciones en total.
¿Qué aprenderé en «Modelado de lenguaje enmascarado»?
Cómo BERT aprende a partir de texto sin procesar Practicas NLP Academy con código real que ejecutas directamente en el navegador, y un tutor de IA 24/7 responde tus preguntas mientras trabajas en la lección.
¿Necesito experiencia previa para empezar NLP Academy?
No se requiere experiencia previa. NLP Academy en CoddyKit está estructurado para principiantes hasta estudiantes avanzados, así que puedes empezar aquí o desde el inicio y avanzar a tu ritmo. Esta es la lección 2 de 4.
¿Cuánto tiempo toma la lección «Modelado de lenguaje enmascarado»?
La mayoría de las lecciones de CoddyKit toman alrededor de 5–10 minutos. Cada una es compacta e interactiva, así que avanzas constantemente y retomas exactamente por donde dejaste en la web y la app.
¿Puedo escribir y ejecutar código en esta lección de NLP Academy?
Sí. Cada lección de NLP Academy incluye un editor de código integrado, así que escribes y ejecutas código real directamente en tu navegador y obtienes retroalimentación instantánea de IA — sin configuración local necesaria.
Todas las lecciones de este curso
- Por qué el contexto cambia el significado de una palabra
- Modelado de lenguaje enmascarado
- Generación de embeddings de oraciones con BERT
- Elección del modelo preentrenado adecuado