Was sind Vektor-Embeddings?

Ein Vektor-Embedding ist eine Liste von Zahlen (ein Vektor), die die Bedeutung eines Textabschnitts repräsentiert. Anstatt Wörter als rohe Zeichenketten zu speichern, lernen neuronale Netze, semantische Bedeutung in dichten numerischen Arrays zu kodieren. Zwei Texte mit ähnlicher Bedeutung erzeugen Vektoren, die in diesem hochdimensionalen Raum nahe beieinanderliegen.

Moderne Embeddings haben typischerweise 768 bis 3072 Dimensionen. Jede Dimension erfasst ein latentes Bedeutungsmerkmal — Themen, Stimmung, Stil und Beziehungen — ohne explizit programmiert worden zu sein. Das Ergebnis ist ein reichhaltiger geometrischer Raum, in dem semantische Beziehungen als messbare Distanzen sichtbar werden.

Beispielsweise erzeugt text-embedding-3-small Vektoren mit 1536 Dimensionen, während text-embedding-3-large Vektoren mit 3072 Dimensionen erzeugt.

Embedding-Modelle werden anhand riesiger Textkorpora trainiert, um fehlende Wörter vorherzusagen (Masked Language Modeling) oder semantisch ähnliche von unähnlichen Paaren zu unterscheiden. Während des Trainings passt das Netzwerk Millionen von Gewichten an, bis sich ähnliche Texte im erlernten Vektorraum auf natürliche Weise zu Clustern zusammenfinden.

Deshalb werden Embeddings als dichte Repräsentationen bezeichnet — jede Dimension enthält Informationen, anders als bei dünn besetzten One-Hot-Kodierungen, bei denen die meisten Werte null sind.

Kosinusähnlichkeit misst den Winkel zwischen zwei Vektoren und liefert einen Wert zwischen -1 und 1. Ein Wert von 1 bedeutet, dass die Vektoren exakt in dieselbe Richtung zeigen (identische Bedeutung), 0 bedeutet orthogonal (ohne Bezug), und -1 bedeutet entgegengesetzte Richtungen.

Für Texte wird sie der euklidischen Distanz vorgezogen, weil sie die Vektorlänge ignoriert und sich ausschließlich auf die Richtung konzentriert. Dadurch ist sie gegenüber Unterschieden in der Textlänge robust.

Die herkömmliche Schlüsselwortsuche versagt, wenn Benutzer paraphrasieren: Bei der Suche nach Automobil werden Dokumente über Autos nicht gefunden. Vektor-Embeddings lösen dieses Problem, weil semantisch gleichbedeutende Texte unabhängig von den exakt verwendeten Wörtern auf nahe beieinanderliegende Vektoren abgebildet werden.

Dadurch wird semantische Suche ermöglicht, bei der Sie das relevanteste Ergebnis anhand der Bedeutung statt anhand der Wortübereinstimmung finden — eine grundlegende Funktion für RAG-Systeme.

Stellen Sie sich vor, Sie würden Sätze auf einer zweidimensionalen Karte darstellen (als vereinfachte Analogie). Sätze über maschinelles Lernen bilden in einem Bereich ein Cluster, Sätze über Kochen in einem anderen und Sätze über Sport ein drittes. Vektor-Embeddings erzeugen diese Karte in Tausenden von Dimensionen.

Berühmte Beziehungen wie king - man + woman ≈ queen sind in diesem Raum echte arithmetische Operationen — Vektoroperationen kodieren semantische Analogien.

Die OpenAI-Embeddings-API akzeptiert Text und gibt eine Liste von Gleitkommazahlen zurück. Mit einem einzigen API-Aufruf können Sie einen Satz oder einen ganzen Absatz in ein Embedding umwandeln. Der zurückgegebene Vektor hat unabhängig von der Eingabelänge eine feste Dimension.

Wichtig: Längere Eingaben erzeugen keine größeren Vektoren — sie erzeugen weiterhin einen Vektor fester Größe. Bei sehr langen Texten können jedoch feine Details verloren gehen, weil das Modell alles in diesen festen Raum komprimiert.

Sie können mehrere Zeichenketten in einem einzigen API-Aufruf in Embeddings umwandeln, indem Sie dem Parameter input eine Liste übergeben. Das ist wesentlich effizienter, als für jeden Text eine einzelne Anfrage zu stellen, weil dadurch Netzwerk-Roundtrips reduziert werden und die API die Berechnung stapelweise ausführen kann.

Die Antwort enthält für jede Eingabe ein Embedding-Objekt in derselben Reihenfolge, sodass Sie diese mit Ihren ursprünglichen Texten zusammenführen können.

Wenn Ihre Embeddings L2-normalisiert sind (Einheitsvektoren mit der Länge 1), entspricht das Skalarprodukt der Kosinusähnlichkeit. Die Embedding-Modelle von OpenAI geben normalisierte Vektoren zurück, sodass Sie beide Metriken verwenden können — das Skalarprodukt ist etwas schneller zu berechnen.

Wenn Sie jedoch Embeddings aus verschiedenen Modellen oder Quellen kombinieren, die möglicherweise nicht normalisiert sind, berechnen Sie immer explizit die Kosinusähnlichkeit, um irreführende Ergebnisse zu vermeiden.

One-Hot-Kodierung repräsentiert jedes Wort als Vektor mit genau einer 1 und ansonsten nur 0. Ein Vokabular mit 50.000 Wörtern erzeugt Vektoren mit 50.000 Dimensionen, die fast ausschließlich aus Nullen bestehen — äußerst ineffizient.

Dichte Embeddings verwenden 768 bis 3072 Dimensionen, aber jede Dimension enthält echte Informationen. Der Raum ist 10- bis 20-mal kleiner und erfasst dennoch wesentlich mehr Feinheiten, darunter Synonyme, Analogien und kompositionale Bedeutung, die bei der One-Hot-Kodierung vollständig verloren gehen.

Neben der semantischen Suche ermöglichen Embeddings viele praktische Anwendungen:

• Semantische Suche — Dokumente anhand ihrer Bedeutung statt anhand von Schlüsselwörtern finden
• Empfehlungssysteme — Elemente empfehlen, die denen ähneln, die der Benutzer mochte
• Clustering — Dokumente automatisch nach Themen gruppieren
• Klassifizierung — Embeddings einem linearen Klassifikator zuführen
• Duplikaterkennung — nahezu doppelte Inhalte erkennen

Alle RAG-Systeme sind auf Embeddings angewiesen, um Benutzeranfragen den relevanten Dokumentabschnitten zuzuordnen.

Testen Sie Ihr Verständnis der AI-Engineering-Konzepte aus dieser Lektion.

In dieser Lektion haben Sie gelernt: Vektor-Embeddings kodieren semantische Bedeutung als dichte numerische Arrays, Kosinusähnlichkeit misst semantische Nähe durch den Vergleich von Vektorrichtungen, und die Embedding-API von OpenAI wandelt Text in einem einzigen Aufruf in Vektoren fester Größe um. Als Nächstes sehen wir uns an, wie Sie Embeddings mit den OpenAI-Modellen praktisch erzeugen und vergleichen.