Vorhersagen für spätere Analysen protokollieren

Wenn Sie nie speichern, was Ihr Modell gesehen und ausgegeben hat, können Sie es später nicht diagnostizieren. Prediction Logging ist die Grundlage jeder Analyse. 📝

Ein nützliches Prediction Log erfasst für jede Anfrage die Eingabe-Features, die Modellausgabe, die Modellversion und einen Zeitstempel.

Geben Sie jeder Vorhersage eine eindeutige Request ID. Wenn später das tatsächliche Ergebnis eintrifft, verknüpfen Sie es anhand dieser ID wieder mit der ursprünglichen Eingabe.

Speichern Sie die Features immer zusammen mit der Vorhersage. Ein Score ohne Eingaben kann Ihnen nicht sagen, warum das Modell so entschieden hat.

Versehen Sie jedes Log mit der Modellversion, die es erzeugt hat. Nach einem Rollout können Sie das alte und das neue Verhalten direkt vergleichen.

Schreiben Sie Logs als strukturiertes JSON, nicht als Freitext. Maschinen können Ihre Vorhersagen dann automatisch abfragen, filtern und aggregieren.

Vorhersagen fließen normalerweise in einen Prediction Store: eine Datenbank, ein Data Warehouse oder ein Data Lake, der für eine kostengünstige, abfragbare Historie ausgelegt ist.

Schreiben Sie Logs asynchron, damit das Speichern eines Datensatzes niemals die Antwort verzögert, auf die Ihre Nutzerin oder Ihr Nutzer wartet.

Logs können personenbezogene Daten enthalten. Wenden Sie daher Datenschutzregeln an: Hashen Sie Kennungen, entfernen Sie sensible Felder und legen Sie eine Aufbewahrungsdauer fest.

Wenn echte Labels eintreffen, verknüpfen Sie sie anhand der Request ID mit den Logs. So messen Sie im Nachhinein die Live-Genauigkeit.

Bei sehr großem Umfang protokollieren Sie eine repräsentative Stichprobe statt jeder Anfrage, damit Speicherbedarf und Kosten im Rahmen bleiben.

Protokollieren Sie jede Vorhersage mit ihren Eingaben, ihrer Ausgabe, ihrer Version und ihrer Request ID. Auf diese strukturierte Historie stützt sich jede spätere Analyse. ✅