Qualitäts-Gates und Schwellenwerte festlegen

Ein Quality Gate ist eine automatische Regel, die verhindert, dass ein schlechtes Modell ausgeliefert wird. Wenn das neue Modell die Vorgabe verfehlt, schlägt der Build einfach fehl.

Wählen Sie eine für die Aufgabe besonders wichtige Metrik, etwa F1 oder AUC. Ihre primäre Metrik steuert das Gate, damit die Entscheidung eindeutig bleibt.

Das einfachste Gate ist eine feste Untergrenze. Ein absoluter Schwellenwert blockiert jedes Modell, dessen Score unter einen festgelegten Mindestwert fällt.

Ein einfaches Modell zu übertreffen, belegt den tatsächlichen Mehrwert. Ein Baseline-Gate lässt den Build fehlschlagen, wenn Sie die Vorhersage der Mehrheitsklasse nicht übertreffen.

Das neue Modell sollte nicht schlechter sein als das aktuelle. Ein Regression-Gate vergleicht den Kandidaten mit dem Live-Modell und lehnt jede Verschlechterung ab.

Scores schwanken aufgrund von Zufall von Lauf zu Lauf. Eine kleine Toleranz verhindert unzuverlässige Fehlschläge und erkennt dennoch echte Regressionen.

Gesamtzahlen können schwache Gruppen verbergen. Ein Slice-Gate verlangt, dass auch das schlechteste Segment seinen eigenen Mindestwert erreicht, nicht nur der Durchschnitt.

Latenz und Modellgröße sind in der Produktion wichtig. Fügen Sie Gates für Nicht-Genauigkeitsgrenzen hinzu, damit auch ein langsames oder sehr großes Modell den Build nicht besteht.

Eine fehlschlagende Prüfung gibt einen Exit-Code ungleich null zurück. CI liest diesen Exit-Code und stoppt das Deployment, sodass niemand versehentlich ausliefert.

Protokollieren Sie jedes Gate-Ergebnis in MLflow oder einer Datei. Eine aufgezeichnete Historie zeigt Ihnen, wie sich Schwellenwerte und Scores im Laufe der Zeit entwickeln.

Setzen Sie die Grenze so, dass schlechte Modelle blockiert, gute aber nicht abgelehnt werden. Überprüfen Sie jeden Schwellenwert, während sich Modell und Geschäftsanforderungen weiterentwickeln.

Sie setzen jetzt Quality Gates: absolute Untergrenzen, Baseline- und Regressionsprüfungen sowie Slice- und Latenzgrenzen, die den Build scheitern lassen, bevor ein schwaches Modell ausgeliefert wird. ✅