Hybridsysteme und Evaluationsmetriken

Kollaboratives Filtern hat Schwierigkeiten mit dem Kaltstartproblem, während inhaltsbasiertes Filtern zu einer Überspezialisierung neigt. Ein hybrides System kombiniert beide Verfahren, sodass jedes die Schwächen des anderen ausgleicht. Dadurch sind hybride Systeme normalerweise besser als jedes der beiden Verfahren allein.

Beim einfachsten hybriden Verfahren werden Bewertungen mit Gewichten kombiniert, deren Summe 1 ergibt. Zum Beispiel legt 0.6 * CF + 0.4 * CB den Schwerpunkt auf kollaborative Signale, nutzt aber weiterhin Inhalte als Ausweichmöglichkeit und zur Diversifizierung.

Die Aufteilung 0.6 / 0.4 ist nur ein Ausgangspunkt. Stimmen Sie die Gewichte anhand eines Validierungsdatensatzes ab: Wenn Benutzer eine umfangreiche Historie haben, erhöhen Sie das CF-Gewicht; bei neuen Items erhöhen Sie das CB-Gewicht. Sie können die Gewichte sogar für jeden Benutzer individuell anpassen.

• Gewichtet: Bewertungen kombinieren (wie oben gezeigt).
• Umschalten: Je nach Datenverfügbarkeit CF oder CB auswählen.
• Feature-Kombination: Beide Signale in ein gemeinsames Modell einspeisen.

Die gewichtete Kombination ist am weitesten verbreitet und am einfachsten nachzuvollziehen.

Die Evaluierung teilt sich in zwei Fragen:

• Bewertungsvorhersage: Wie nah liegen die vorhergesagten Bewertungen an den tatsächlichen? Verwenden Sie RMSE/MAE.
• Rankingqualität: Befinden sich die richtigen Items weit oben? Verwenden Sie Precision@K, Recall@K und NDCG@K.

RMSE misst den durchschnittlichen quadrierten Fehler zwischen vorhergesagten und tatsächlichen Bewertungen und zieht anschließend die Quadratwurzel. Große Abweichungen werden stark bestraft, und RMSE ist die Standardmetrik für die Genauigkeit von Bewertungen.

Precision@K = (relevante Elemente in den obersten K) / K. Die Frage lautet: Welcher Anteil der K von mir empfohlenen Elemente hat dem Nutzer tatsächlich gefallen? Ein höherer Wert bedeutet weniger ungenutzte Plätze.

Recall@K = (relevante Elemente in den obersten K) / (alle relevanten Elemente). Die Frage lautet: Welchen Anteil aller Elemente, die dem Nutzer gefallen würden, habe ich in den obersten K angezeigt?

Precision legt Wert darauf, mit den angezeigten Inhalten richtigzuliegen; Recall darauf, alle relevanten Inhalte abzudecken. Empfehlungssysteme legen meist den Schwerpunkt auf Precision@K, weil Nutzer nur eine kurze Liste sehen und die obersten Plätze daher am wichtigsten sind.

NDCG@K (Normalized Discounted Cumulative Gain) belohnt es, hochrelevante Elemente weit oben zu platzieren. Ein relevantes Element auf Rang 1 zählt mehr als dasselbe Element auf Rang 10, weil der Gewinn abhängig von der Position abgewertet wird.

DCG summiert die Relevanz jedes Elements, geteilt durch den Logarithmus seines Rangs. NDCG teilt DCG durch den idealen DCG (die perfekte Reihenfolge) und ergibt einen Wert zwischen 0 und 1, wobei 1 für eine perfekt sortierte Liste steht.

Testen Sie Ihr Wissen über Evaluierungsmetriken.

Sie haben ein hybrides Empfehlungssystem (z. B. 0.6 * CF + 0.4 * CB) erstellt und dessen Evaluierungswerkzeuge kennengelernt: RMSE für die Bewertungsgenauigkeit, Precision@K und Recall@K für das Retrieval sowie NDCG@K für die Ranking-Qualität. Damit endet der Kurs Recommendation Systems. Nächster Kurs: MLOps Fundamentals.