Warum Kontext die Bedeutung von Wörtern verändert

Das Wort bank kann ein Flussufer oder einen Ort für Geld bezeichnen. Seine Bedeutung hängt vollständig vom Kontext ab, der es umgibt.

word2vec und GloVe geben jedem Wort einen festen Vektor. Daher erhält bank unabhängig vom Satz, in dem es vorkommt, nur eine einzige statische Bedeutung.

Diese beiden Sätze verwenden bank auf entgegengesetzte Weise, doch ein statisches Modell gibt ihnen für das Wort genau denselben Vektor.

Sie wissen sofort, welches bank gemeint ist, weil Sie die umgebenden Wörter lesen. Die Bedeutung liegt im Kontext, nicht im Wort allein.

Ein kontextuelles Modell gibt bank in jedem Satz einen anderen Vektor. Das Embedding passt sich jedes Mal an seinen Kontext an. ✨

BERT ist ein Transformer, der einen ganzen Satz auf einmal liest und kontextabhängige Vektoren erzeugt. Im Zentrum steht Attention über alle Wörter.

BERT betrachtet gleichzeitig die Wörter links und rechts von jedem Token. Diese zweiseitige Betrachtung wird als bidirektional bezeichnet.

Wenn Sie BERT sowohl Sätze über den Fluss als auch über Geld zuführen, entstehen für bank zwei unterschiedliche Vektoren. Das Embedding berücksichtigt den Satz.

Wörter mit mehreren Bedeutungen, sogenannte Polysemie, verwirrten statische Modelle früher. Kontextuelle Embeddings trennen diese Bedeutungen nun zuverlässig.

Suche, Übersetzung und Fragenbeantwortung werden besser, wenn ein Modell wirklich erfasst, welche Bedeutung ein Wort gerade trägt.

Der Wechsel von einem Vektor pro Wort zu einem Vektor pro Verwendung war ein Wendepunkt. Darin liegt der Kern des modernen NLP.

Statische Vektoren legen jedes Wort auf eine Bedeutung fest. Kontextuelle Embeddings aus BERT verändern sich je nach Satz und erfassen die passende Bedeutung. ✅