Semantische Ähnlichkeit und Satz-Embeddings

Wort-Embeddings repräsentieren Wörter, doch häufig müssen wir ganze Sätze oder Dokumente vergleichen. Das Mitteln von Wortvektoren geht auf Kosten von Nuancen; wir möchten einen einzelnen Vektor, der die vollständige Bedeutung erfasst.

Satz-Embeddings bilden einen ganzen Satz auf einen dichten Vektor ab, sodass Sätze mit ähnlicher Bedeutung nahe beieinanderliegende Vektoren haben. Dadurch werden semantische Suche und Clustering ermöglicht.

Die Bibliothek sentence-transformers macht dies einfach. Sie kapselt feinabgestimmte Transformer-Modelle, die direkt hochwertige Satzvektoren erzeugen.

all-MiniLM-L6-v2 ist eine beliebte Standardwahl: klein, schnell und präzise; das Modell erzeugt 384-dimensionale Vektoren. Für die meisten Anwendungen bietet es ein gutes Gleichgewicht zwischen Geschwindigkeit und Qualität.

model.encode wandelt eine Liste von Sätzen in eine Matrix aus Embeddings um, mit einer Zeile pro Satz.

Die Kosinus-Ähnlichkeit misst den Winkel zwischen zwei Vektoren und ignoriert dabei deren Betrag. Werte nahe 1 bedeuten eine sehr ähnliche Bedeutung, Werte nahe 0 bedeuten, dass kein Zusammenhang besteht.

Sie können auch scikit-learn direkt auf die Embedding-Matrix anwenden, um eine vollständige paarweise Ähnlichkeitsmatrix zu erhalten.

Semantische Suche findet Dokumente anhand ihrer Bedeutung, nicht anhand von Schlüsselwörtern. Enkodieren Sie eine Anfrage und alle Dokumente und ordnen Sie die Dokumente anschließend nach ihrer Kosinus-Ähnlichkeit zum Anfragevektor.

Enkodieren Sie das Korpus einmal, berechnen Sie dann für jede Anfrage die Ähnlichkeiten und geben Sie die besten Treffer zurück.

Satz-Embeddings ermöglichen FAQ-Matching, Duplikaterkennung, Clustering, Empfehlungen und den Retrieval-Schritt in RAG-Systemen, die relevanten Kontext an große Sprachmodelle übergeben.

Wählen Sie ein für Ihre Aufgabe trainiertes Modell (semantische Suche statt Paraphrasen). Normalisieren Sie die Embeddings, wenn Ihre Ähnlichkeitsmetrik dies erfordert, und verwenden Sie bei großen Korpora eine Vektordatenbank für eine schnelle Suche nach nächsten Nachbarn.

Zusammenfassung: Satz-Embeddings kodieren ganze Sätze in Vektoren. Verwenden Sie SentenceTransformer("all-MiniLM-L6-v2") und model.encode(sentences) und vergleichen Sie anschließend mit der Kosinus-Ähnlichkeit. Das ermöglicht semantische Suche: Enkodieren Sie Anfrage und Korpus und ordnen Sie nach Ähnlichkeit. Eine wichtige Grundlage für FAQ-Matching, Clustering und RAG-Retrieval.