Wie word2vec Bedeutung lernt

Wie kann ein Programm die Bedeutung von Wörtern ohne Wörterbuch lernen? Die bekannte Methode word2vec beantwortet diese Frage mit einem cleveren Trick.

Die Grundidee ist die distributionelle Hypothese: Ein Wort wird durch die Wörter definiert, die es umgeben. Ein ähnlicher Kontext bedeutet eine ähnliche Bedeutung.

word2vec verschiebt ein kleines Fenster über den Text und lernt, jedes Wort anhand seiner Nachbarn vorherzusagen. Dies ist der Trainingsaufbau skip-gram.

Ausgehend von einem mittleren Wort errät das Modell die Wörter in seiner Nähe. Hier zeigt das Fenster, welche Nachbarn es vorherzusagen versucht.

Skip-gram sagt ausgehend von einem Wort den Kontext voraus, während CBOW ein Wort aus seinem Kontext vorhersagt. Beide lernen Vektoren, betrachten die Aufgabe aber in entgegengesetzter Richtung.

Die Vorhersageaufgabe ist nur ein Vorwand. Was wir behalten, sind die verborgenen Gewichte, aus denen nach dem Training jeder Wortvektor entsteht.

Jede falsche Vermutung verändert die Vektoren ein wenig. Über Millionen von Beispielen formen diese winzigen Aktualisierungen Bedeutung in Zahlen.

Wörter, die in ähnlichen Kontexten vorkommen, werden im Raum zueinander hingezogen. So landen king und queen schließlich nah beieinander.

Das Training mit jedem Wort des Vokabulars ist langsam. Deshalb verwendet word2vec negatives Sampling und lernt aus einigen falschen Wörtern statt aus allen.

Das Geniale ist, dass Rohtext sein eigener Lehrer ist. word2vec ist selbstüberwacht und benötigt keine menschlichen Labels, um Bedeutung zu lernen. 🤖

Zum ersten Mal spiegelte einfache Mathematik mit Vektoren echte Beziehungen zwischen Wörtern wider. word2vec machte Embeddings für alle praktisch nutzbar.

word2vec lernt Bedeutung, indem es den Kontext vorhersagt, und behält anschließend die Gewichte als Vektoren. Ähnliche Kontexte ziehen Wörter nah zusammen – ganz ohne Labels. ✅