Masked Language Modeling
Wie BERT aus rohem Text lernt
Masked Language Modeling ist eine kostenlose NLP Academy-Lektion auf CoddyKit. Dies ist Lektion 2 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des NLP Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der NLP Academy-Kurs umfasst insgesamt 4 Lektionen.
Lernen ohne Labels
BERT wird mit reinem Text und ganz ohne menschliche Labels trainiert. Dieser clevere Ansatz heißt selbstüberwachtes Lernen.
Das Lückentext-Spiel
BERT lernt, indem es einige Wörter verbirgt und sie anschließend errät. Dieses Spiel heißt Masked Language Modeling, kurz MLM.
Ein Wort verbergen
Ein zufälliges Wort wird durch einen speziellen Platzhalter ersetzt. Das Modell muss hier wiederherstellen, was die Maske verdeckt.
text = "the cat sat on the [MASK]"
# model should predict: matDas fehlende Wort vorhersagen
BERT liest alles rund um die Lücke und ordnet wahrscheinliche Ergänzungen. Gute Vorhersagen entstehen durch die Nutzung des vollständigen Kontexts.
Warum das Verbergen hilft
Um eine Lücke gut zu füllen, muss das Modell Grammatik, Fakten und Wortbeziehungen lernen. Die Lücke erzwingt echtes Verständnis.
Die berühmten 15 Prozent
BERT maskiert während des Trainings ungefähr 15 Prozent der Wörter in jedem Satz. Dieses Verhältnis hält das Gleichgewicht zwischen Signal und Schwierigkeit.
Beide Seiten gleichzeitig
Im Gegensatz zu Modellen, die von links nach rechts arbeiten, sieht BERT die Wörter vor und nach der Lücke. Diese bidirektionale Betrachtung ermöglicht deutlich bessere Vorhersagen.
Eine zweite Aufgabe
Das ursprüngliche BERT sagte außerdem voraus, ob auf einen Satz ein anderer folgt. Diese zusätzliche Aufgabe heißt Next Sentence Prediction und vermittelt ein Verständnis für den Textfluss.
Vortraining und anschließende Wiederverwendung
Diese langsame und teure MLM-Phase ist der Schritt des Vortrainings. Sie laden das Ergebnis herunter und verwenden es wieder, ohne die Arbeit erneut auszuführen.
Im Code ausprobieren
Mit einer Fill-Mask-Pipeline können Sie MLM in Aktion beobachten und sehen, wie BERT seine besten Vorhersagen für jede Lücke einordnet.
from transformers import pipeline
fm = pipeline("fill-mask", model="bert-base-uncased")
fm("Paris is the [MASK] of France.")Wissen zum Nulltarif
Nach dem MLM verfügt BERT über einen riesigen Vorrat an Sprachwissen, der Ihre Aufgaben unterstützen kann. Alles stammt aus rohem Text.
Kurzer Test
Was soll BERT beim Masked Language Modeling tun?
Zusammenfassung
BERT lernt, maskierte Lücken mithilfe beider Seiten eines Satzes zu füllen. Dieses selbstüberwachte MLM baut tiefes Sprachwissen auf. ✅
Lerne Python mit einem KI-Tutor — kostenlos
Schreibe und führe echten Code in deinem Browser aus, bekomme sofortige Hilfe von einem 24/7 KI-Tutor und setze dein Lernen im Web oder in der App fort.
- Kurse
- 30
- Lektionen
- 120
Häufig gestellte Fragen
Ist die Lektion „Masked Language Modeling“ kostenlos?
Ja — der vollständige Text von „Masked Language Modeling“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des NLP Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der NLP Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Masked Language Modeling“?
Wie BERT aus rohem Text lernt Du übst NLP Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um NLP Academy zu starten?
Keine Vorkenntnisse erforderlich. NLP Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 2 von 4.
Wie lange dauert die Lektion „Masked Language Modeling“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser NLP Academy-Lektion Code schreiben und ausführen?
Ja. Jede NLP Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Warum Kontext die Bedeutung von Wörtern verändert
- Masked Language Modeling
- Sätze mit BERT in Embeddings umwandeln
- Das richtige vortrainierte Modell auswählen