Bei Fehlern und Missbrauch alarmieren

Dashboards helfen nur, wenn jemand sie beobachtet. Alerting kehrt dieses Prinzip um: Das System informiert Sie, sobald etwas schiefläuft. 🔔

Richten Sie Alerts auf benutzerseitige Symptome wie eine hohe Fehlerrate und nicht auf jedes interne kurze Aufflackern. So bleibt das Signal stark und das Rauschen gering.

Ein Alert benötigt einen klaren Schwellenwert: Er wird beispielsweise ausgelöst, wenn die Fehlerrate fünf Prozent überschreitet. Die Grenze macht aus einer Metrik eine Ja-oder-Nein-Entscheidung.

Bewerten Sie Schwellenwerte über ein Zeitfenster, etwa fünf Minuten. Ein einzelner fehlerhafter Aufruf sollte keinen Alert auslösen, ein anhaltender Anstieg hingegen schon.

Langsam bedeutet eine Art von Fehler. Lösen Sie einen Alert aus, wenn die p99-Latenz Ihr Budget überschreitet, denn ein hängender Server beeinträchtigt Benutzer ebenso wie ein Server mit Fehlern.

Eine plötzliche Flut von Aufrufen kann auf ein außer Kontrolle geratenes Modell oder einen Angreifer hindeuten. Richten Sie für anormalen Datenverkehr Warnungen ein, damit Sie Missbrauch erkennen, bevor er Ihr Budget aufbraucht. 🚨

Kombinieren Sie Warnungen mit einem Rate-Limit: Begrenzen Sie die Anzahl der Aufrufe pro Client, damit der Missbrauch eingedämmt wird, während Sie ihn untersuchen, anstatt zuerst Ihr Backend zu überlasten.

Selbst eine einfache Zählerprüfung kann einen Ausschlag erkennen, wenn die Anzahl der Aufrufe in einem Zeitfenster deutlich über Ihren normalen Ausgangswert steigt.

Eine Warnung ist nur nützlich, wenn sie einen Menschen erreicht. Senden Sie sie an einen echten Kanal wie E-Mail, Slack oder einen Pager, den tatsächlich jemand überwacht.

Zu viele Fehlalarme führen dazu, dass Menschen Warnungen ignorieren. Stimmen Sie die Schwellenwerte so ab, dass jede Benachrichtigung berechtigt ist; Warnungsmüdigkeit führt dazu, dass Ausfälle übersehen werden.

Hängen Sie an jede Warnung ein kurzes Runbook an: was sie bedeutet und welche ersten Schritte einzuleiten sind. So kann die zuständige Person in Sekunden statt in Minuten handeln.

Sie können jetzt auf echte Symptome reagieren: Fehlerrate, Latenz und missbräuchlichen Datenverkehr, abgestimmt mit Zeitfenstern und Runbooks, sodass jede Benachrichtigung wirklich zählt. ✅