Dense- vs. Sparse-Retrieval: Abwägungen

Moderne Abrufsysteme stützen sich auf zwei unterschiedliche Signale: dichter Abruf kodiert Bedeutung in kontinuierlichen Vektorräumen, während sparsamer Abruf das exakte Vorkommen von Begriffen zählt. Diese Signale ergänzen sich und sind nicht austauschbar. Ihre jeweiligen Stärken und Schwächen zu verstehen, ist der erste Schritt zum Aufbau eines Systems, das beide effektiv nutzt.

Dichter Abruf bildet sowohl die Abfrage als auch jedes Dokument mithilfe eines neuronalen Encoders auf einen hochdimensionalen Vektor ab. Die Ähnlichkeit wird anhand des Kosinusabstands oder des Skalarprodukts zwischen den Vektoren gemessen. Da der Encoder mit großen Textkorpora trainiert wurde, liegen semantisch verwandte Formulierungen im Vektorraum nahe beieinander, selbst wenn sie keine gemeinsamen Wörter enthalten – das ist der entscheidende Vorteil des dichten Abrufs.

Dichte Modelle haben Schwierigkeiten mit seltenen Begriffen, die während des Encoder-Trainings nur unzureichend vertreten waren. Eine Abfrage mit einer spezifischen Produktmodellnummer wie RTX-4090-Ti-OC, einem medizinischen Wirkstoffnamen oder einem proprietären internen Bezeichner findet häufig nicht das richtige Dokument, weil der Encoder keine gelernte Repräsentation für diese Tokenfolge besitzt. Der Vektor landet dann an einer ungeeigneten Stelle im Embedding-Raum.

BM25 (Best Matching 25) ist eine probabilistische Ranking-Funktion, die Dokumente danach bewertet, wie häufig Abfragebegriffe im Dokument vorkommen. Dabei wird die Dokumentlänge normalisiert und die Sättigung der Termhäufigkeit abgeschwächt. Das Ergebnis ist ein spärlicher Score-Vektor – die meisten Dimensionen sind null, weil Dokumente nur einen kleinen Teil des Vokabulars enthalten.

BM25 ist besonders stark bei Abfragen mit exakten Fachbegriffen, Produktnamen, Fehlercodes und numerischen Bezeichnern, die präzise übereinstimmen müssen. Eine Abfrage nach ORA-01017 (einem Oracle-Fehlercode) bewertet Dokumente, die genau diese Zeichenfolge enthalten, deutlich höher als Dokumente, die lediglich allgemein die Datenbankauthentifizierung behandeln. Für ein Dense-Modell, das diesen spezifischen Code noch nie gesehen hat, ist das unmöglich.

BM25 erkennt semantische Paraphrasen nicht. Ein Dokument über „Reparatur von Automobilmotoren“ erhält für eine Abfrage zu „Wartung von Automobilmotoren“ den Wert null, wenn keines der exakten Wörter übereinstimmt. Dieses Problem nicht übereinstimmender Vokabulare, auch lexikalische Lücke genannt, führt dazu, dass die reine Stichwortsuche große Mengen relevanter Inhalte verpasst, die dieselbe Idee einfach mit anderen Wörtern ausdrücken.

Benchmarks mit BEIR-, MS-MARCO- und Q&A-Datensätzen aus Unternehmen zeigen konsistent, dass hybrides Retrieval entweder Dense- oder Sparse-Retrieval allein übertrifft – bei NDCG@10 um 5–15 Prozent. Der größte Vorteil zeigt sich bei Datensätzen mit einer Mischung aus faktischen Nachschlageabfragen (bei denen BM25 hilft) und Paraphrasenabfragen (bei denen dichte Embeddings helfen). Keine einzelne Retrieval-Methode dominiert alle Abfragetypen.

Sie können vorhersagen, welcher Retriever besser abschneidet, indem Sie den Abfragetyp analysieren. Dense Retrieval gewinnt bei konzeptionellen Fragen, Paraphrasen und breit gefassten Themenabfragen. BM25 gewinnt bei Abfragen mit Eigennamen, Versionsnummern, Codeausschnitten, Akronymen und seltenen Fachbegriffen. Hybrid gewinnt immer, wenn der Abfragetyp im Voraus unbekannt ist – was in Produktionsumgebungen fast immer der Fall ist.

Das Kombinieren dichter und spärlicher Ergebnisse ist nicht trivial, da ihre Scores auf inkompatiblen Skalen liegen. Die Kosinusähnlichkeit liefert Werte zwischen -1 und 1, während BM25 unbeschränkte positive Scores erzeugt, die von der Korpusgröße abhängen. Sie können diese Werte nicht einfach addieren. Die Standardlösung besteht darin, rangbasierte Fusion statt scorebasierter Fusion zu verwenden – also Ranglisten anstelle roher Scores zusammenzuführen.

Verwenden Sie reines Dense-Retrieval, wenn Ihr Korpus aus einem eng begrenzten Fachgebiet stammt, ein einheitliches Vokabular verwendet und Sie semantische Verallgemeinerung über Paraphrasen hinweg benötigen. Verwenden Sie reines BM25, wenn es sich bei den Abfragen hauptsächlich um Nachschlageabfragen mit exakten Bezeichnern handelt und Ihr Datensatz klein genug für eine vollständige Suche ist. Verwenden Sie hybrides Retrieval in allen produktiven RAG-Systemen mit unterschiedlichen Abfragetypen – der Mehraufwand ist moderat und die Verbesserung des Recalls deutlich.

Dense Retrieval erfordert eine GPU-beschleunigte Suche nach approximierten nächsten Nachbarn oder eine Vektordatenbank, was zusätzliche Infrastrukturkosten verursacht. BM25 läuft vollständig auf der CPU mit einem invertierten Index und ist äußerst schnell. Hybrides Retrieval benötigt beide Infrastrukturkomponenten sowie einen Fusionsschritt. Die zusätzliche Komplexität ist für die meisten produktiven Anwendungsfälle durch die Recall-Verbesserung gerechtfertigt, muss jedoch gegen Ihr Infrastruktur-Budget abgewogen werden.

In dieser Lektion haben Sie gelernt: Dense Retrieval erfasst die semantische Bedeutung, scheitert aber bei seltenen exakten Begriffen; sparse Retrieval mit BM25 verarbeitet exakte Stichwörter, verpasst jedoch Paraphrasen; und hybrides Retrieval übertrifft beide Methoden allein konsistent bei unterschiedlichen Abfragetypen. Ihre Scores sind inkompatibel und müssen durch Rangfusion statt durch Addition der Scores zusammengeführt werden. Als Nächstes implementieren wir die BM25-Stichwortsuche in Python.