Monitoring, waarschuwingen en logging

Vraag je je weleens af hoe grote systemen 24/7 beschikbaar blijven? Dat komt door goede observeerbaarheid! In deze les behandelen we drie pijlers: monitoring, signalering en logboekregistratie.

Met deze werkwijzen kunnen we de interne toestand van een systeem begrijpen aan de hand van de externe uitvoer. Ze zijn cruciaal voor hoge beschikbaarheid en betrouwbaarheid.

Monitoring is het voortdurend verzamelen en analyseren van gegevens over de prestaties en gezondheid van je systeem.

• Het biedt realtime-inzicht in het gedrag van je toepassingen en infrastructuur.
• Je kunt het zien als de vitale functies van het systeem: ze laten zien of alles soepel werkt of dat er problemen ontstaan.

Wat moet je monitoren? Belangrijke meetwaarden vallen in een paar categorieën:

• Systeemmeetwaarden: CPU-gebruik, geheugen, schijf-I/O en netwerkverkeer.
• Toepassingsmeetwaarden: aantal aanvragen, foutpercentages, latentie, actieve gebruikers en wachtrijgroottes.

Richt je op meetwaarden die prestatieknelpunten of mogelijke storingen aangeven.

Veel tools helpen bij het verzamelen en visualiseren van meetwaarden. Enkele populaire voorbeelden zijn:

• Prometheus: een opensourcesysteem dat meetwaarden van geconfigureerde doelen verzamelt.
• Grafana: dit wordt vaak gecombineerd met Prometheus en is een krachtige tool voor het maken van dashboards en het visualiseren van gegevens.
• Datadog/New Relic: commerciële oplossingen voor end-to-endmonitoring van infrastructuur, toepassingen en logboeken.

Waar monitoring laat zien wat er gebeurt, vertelt signalering je wanneer er iets misgaat en vaak ook wie dat moet weten.

• Een signaal is een melding die wordt geactiveerd wanneer een gemonitorde meetwaarde een vooraf bepaalde drempel overschrijdt of zich abnormaal gedraagt.
• Het helpt engineeringteams snel op problemen te reageren, zodat uitvaltijd en impact beperkt blijven.

Goed ontworpen signalen voorkomen "signaalmoeheid" (te veel niet-kritieke signalen).

• Drempelwaarden: "CPU-gebruik > 90% gedurende 5 minuten."
• Basiswaarden: geef een signaal als het verkeer aanzienlijk onder het gebruikelijke patroon daalt.
• Ernstniveaus: kritiek, waarschuwing, informatie. Verschillende problemen vereisen verschillende urgentieniveaus.

Streef naar signalen waarop je actie kunt ondernemen en die voldoende context bieden om met probleemoplossing te beginnen.

Zodra een signaal is geactiveerd, moet het de juiste mensen bereiken. Veelgebruikte kanalen zijn:

• E-mail/sms: voor minder kritieke signalen of eerste meldingen.
• Slack/Teams: voor bewustwording en overleg binnen het hele team.
• PagerDuty/Opsgenie: voor kritieke signalen voor medewerkers met wachtdienst die onmiddellijke aandacht vereisen, vaak met escalatiebeleid.

Escalatie zorgt ervoor dat een signaal naar de volgende persoon wordt gestuurd als de eerste reagerende persoon het niet bevestigt.

Logboekregistratie is het vastleggen van gebeurtenissen die binnen je systeem plaatsvinden. Deze gebeurtenissen kunnen van alles zijn, van gebruikersacties tot systeemfouten.

• Logboeken bieden gedetailleerde context voor foutopsporing en om te begrijpen wat er misging (of juist goed ging!).
• Ze vormen een soort historisch overzicht van het gedrag van je systeem.

Voorbeeld: INFO: User 'john.doe' logged in from IP 192.168.1.100

Naarmate systemen groeien, wordt het essentieel om logboeken van veel servers te verzamelen. Gecentraliseerde logboekregistratie voegt logboeken uit alle onderdelen van je systeem samen op één plek.

• Zo kun je gebeurtenissen tussen services veel gemakkelijker zoeken, analyseren en met elkaar in verband brengen.
• Populaire stacks zijn de ELK-stack (Elasticsearch, Logstash, Kibana) en commerciële oplossingen zoals Splunk.

Je hebt geleerd dat Monitoring, Alerting en Logging (MAL) fundamenteel zijn voor het bouwen en onderhouden van zeer beschikbare en betrouwbare systemen.

• Monitoring biedt inzicht in de gezondheid van het systeem.
• Alerting stelt teams op de hoogte van kritieke problemen.
• Logging biedt gedetailleerde historische context voor foutopsporing.

Als je deze onderdelen beheerst, kun je problemen snel detecteren, diagnosticeren en oplossen, zodat je systemen soepel blijven werken!