Automatisch incidenten aanmaken vanuit alerts

Het automatisch aanmaken van incidenten sluit de lus. Het verbindt uw monitoringsysteem rechtstreeks met uw platform voor incidentbeheer.

Dit is de basisstroom:

• Het monitoringsysteem detecteert een probleem.
• Er wordt een waarschuwing gegenereerd.
• De gegevens van de waarschuwing worden automatisch naar het platform voor incidentbeheer (IMP) gestuurd.
• Het IMP maakt op basis van de ontvangen gegevens een nieuw incident aan.

Drie hoofdtypen hulpmiddelen werken samen voor deze automatisering:

• Monitoringsysteem: Detecteert problemen (bijvoorbeeld Prometheus, Datadog).
• Waarschuwingsengine: Verwerkt monitoringgegevens om waarschuwingen te genereren (vaak onderdeel van het monitoringsysteem of een apart onderdeel zoals Alertmanager).
• Platform voor incidentbeheer (IMP): Ontvangt waarschuwingen, maakt incidenten aan, beheert bereikbaarheidsdiensten en handelt escalaties af (bijvoorbeeld PagerDuty, Opsgenie).

Hoe communiceren deze systemen met elkaar?

Een van de meest gangbare en flexibele manieren is het gebruik van webhooks. Een webhook is eenvoudigweg een HTTP POST-verzoek dat naar een specifieke URL wordt gestuurd wanneer er een gebeurtenis plaatsvindt.

Zie het als een automatische deurbel voor uw platform voor incidentbeheer. Wanneer er een waarschuwing afgaat, ‘belt’ het monitoringsysteem aan bij het IMP.

Wanneer een waarschuwing afgaat, stuurt het monitoringsysteem een informatiepakket (vaak in JSON-indeling) naar de webhook-URL van het IMP. Deze gegevens bevatten alles wat het IMP nodig heeft om een incident aan te maken.

Zo kunnen die gegevens er vereenvoudigd uitzien:

Platforms voor incidentbeheer (IMP's) zijn geconfigureerd om naar deze webhooks te luisteren. Elk IMP biedt een unieke URL voor binnenkomende waarschuwingen.

Wanneer een IMP de webhookgegevens ontvangt, doet het het volgende:

• Het parseert de JSON-payload.
• Het koppelt velden (zoals ernst, service en beschrijving) aan de eigen incidentvelden.
• Het maakt automatisch een nieuw incident aan.
• Het bepaalt welke service of welk team is getroffen.

Automatisch incidenten aanmaken gaat niet alleen over het aanmaken van een ticket. Het gaat er ook om dat dit ticket snel bij de juiste persoon terechtkomt!

IMP's gebruiken escalatiebeleidsregels om te bepalen wie wanneer wordt geïnformeerd. Deze beleidsregels kunnen:

• Bereikbaarheidsroosters opzoeken.
• Op basis van de details van een waarschuwing verschillende personen of teams informeren (waarschuwingen over een ‘database’ gaan bijvoorbeeld naar het databaseteam).
• Via verschillende niveaus escaleren (bijvoorbeeld eerst de primaire dienstdoende persoon bellen en na 5 minuten de secundaire).

Het automatiseren van deze kritieke stap biedt aanzienlijke voordelen:

• Snellere reactie: Incidenten worden direct aangemaakt, waardoor de gemiddelde detectietijd (MTTD) en gemiddelde oplostijd (MTTR) afnemen.
• Minder fouten: Handmatige typefouten en ontbrekende gegevens worden voorkomen.
• Consistente werkstroom: Elke waarschuwing volgt hetzelfde, vooraf gedefinieerde proces.
• Engineers vrijmaken: Minder handmatig werk betekent dat engineers zich kunnen richten op het oplossen van problemen in plaats van op het aanmaken van tickets.

In deze les hebt u geleerd hoe u monitoringsystemen integreert met platforms voor incidentbeheer om incidenten automatisch aan te maken en te escaleren.

• Automatisering stroomlijnt het proces van waarschuwing naar incident, bespaart tijd en vermindert fouten.
• Belangrijke onderdelen zijn monitoringsystemen, waarschuwingsengines en platforms voor incidentbeheer.
• Webhooks zijn een gangbare manier waarop deze systemen communiceren en waarschuwingsgegevens naar het IMP sturen.
• Deze automatisering leidt tot een snellere, nauwkeurigere en consistentere incidentrespons.

Door te automatiseren zorgt u ervoor dat kritieke problemen nooit worden gemist en altijd snel bij het juiste team terechtkomen.