Overvågning af Kafka med JMX og værktøjer

Kafka-brokere viser automatisk en lang række målinger via JMX. For at give eksterne værktøjer mulighed for at oprette forbindelse kan det være nødvendigt at konfigurere en JMX-port, især i ikke-lokale opsætninger.

I en lokal opsætning kan værktøjer som JConsole ofte oprette direkte forbindelse til en kørende Kafka-proces. Ved fjernadgang angiver du typisk JMX-miljøvariabler som JMX_PORT i Kafkas opstartsscript.

Eksempel (findes ofte i kafka-server-start.sh):

export JMX_PORT="9999"

Det gør JMX-målinger tilgængelige på port 9999.

Brokerens tilstand er grundlæggende. JMX leverer målinger, som du kan bruge til at kontrollere, om dine Kafka-brokere kører problemfrit.

• CPU-forbrug: Højt CPU-forbrug kan være tegn på overbelastede brokere eller ineffektive operationer.
• Hukommelsesforbrug: Følg JVM-heap- og non-heap-hukommelsen for at forebygge fejl på grund af utilstrækkelig hukommelse.
• Netværks-I/O: Overvåg indgående og udgående bytes for at forstå datagennemløbet.
• Diskforbrug: Afgørende for logmapper. At løbe tør for diskplads er en almindelig årsag til driftsafbrydelser.

Se efter MBeans under kafka.server:type=BrokerTopicMetrics for rater for netværks-I/O.

Ud over brokerens tilstand fortæller specifikke målinger os om datafordelingen og replikationsstatussen i topics.

• Underreplikerede partitioner (URP): En kritisk måling! Hvis værdien ikke er nul, betyder det, at nogle partitioner ikke har nok replikater, hvilket medfører risiko for datatab, hvis en broker svigter. MBean: kafka.server:type=ReplicaManager,name=UnderReplicatedPartitions.
• Antal aktive controllere: Bør altid være 1. Mere end én angiver en split-brain-situation.
• Rate for ledervalg: Høje rater tyder på ustabile brokere.

Det er afgørende at forstå producenters og forbrugeres adfærd for at optimere datapipelines fra ende til anden.

• Producentmålinger: Følg anmodningsraten, anmodningslatenstiden og fejlraten for at identificere langsomme producenter eller producenter med fejl.
• Forbrugerforsinkelse: Den vigtigste forbrugermåling! Den fortæller dig, hvor langt en forbrugergruppe er bagefter den seneste meddelelse i et topic. En stor forsinkelse betyder, at forbrugerne ikke kan følge med. MBean for maksimal forsinkelse: kafka.consumer:type=ConsumerGroupMetrics,group=mygroup,topic=mytopic,partition=0,name=records-lag-max.

Til hurtige lokale undersøgelser indeholder Java indbyggede værktøjer til at oprette forbindelse til JMX-endepunkter.

• JConsole: Et grafisk overvågningsværktøj, der giver dig mulighed for at oprette forbindelse til en kørende JVM, se MBeans og attributter og endda udføre operationer. Det er velegnet til realtidskontroller efter behov.
• JVisualVM: Tilbyder lignende JMX-funktioner samt yderligere funktioner som profilering af CPU, hukommelse og tråde.

Disse værktøjer følger ofte med dit Java Development Kit (JDK).

Til centraliseret overvågning i produktionskvalitet er kombinationen af Prometheus og Grafana meget populær.

• Prometheus: Et effektivt open source-overvågningssystem, der indsamler målinger fra konfigurerede mål (f.eks. Kafka-brokere) med angivne intervaller.
• JMX Exporter: En lille agent, der kører sammen med Kafka, oversætter JMX-målinger til et format, som Prometheus kan forstå, og viser dem via et HTTP-endepunkt.
• Grafana: Et visualiseringsværktøj, der forespørger Prometheus og viser målinger som dashboards, så du kan oprette tilpassede visninger og alarmer.

Overvågning er først virkelig effektiv, når den kombineres med alarmering. Du skal have besked, når kritiske grænseværdier overskrides, eller når der registreres unormal adfærd.

Vigtige målinger, der bør udløse alarmer:

• Underreplikerede partitioner: Udløs straks en alarm, hvis værdien er > 0.
• Forbrugerforsinkelse: Udløs en alarm, hvis forsinkelsen overskrider en bestemt grænse (f.eks. 5 minutter eller 10.000 meddelelser).
• Brokerens diskforbrug: Udløs en alarm, hvis diskpladsen er ved at slippe op (f.eks. > 80 % i brug).
• Højt CPU-/hukommelsesforbrug: Udløs en alarm, hvis ressourceforbruget konstant er højt.
• Ingen indgående/udgående bytes: Udløs en alarm, hvis trafikken pludselig stopper på kritiske topics.

Du har lært det grundlæggende i overvågning af din Kafka-klynge! Det er en vigtig praksis for at vedligeholde et robust og effektivt dataforløb.

• Kafka eksponerer målinger via JMX.
• Vigtige målinger omfatter brokerens tilstand, replikering af emner og forbrugerforsinkelse.
• Værktøjer som JConsole/JVisualVM giver mulighed for grundlæggende JMX-inspektion.
• Prometheus og Grafana er populære valg til avanceret, centraliseret overvågning.
• Opsæt altid alarmer for kritiske målinger, så du hurtigt kan reagere på problemer.

Proaktiv overvågning sikrer, at din Kafka-klynge forbliver pålidelig og effektiv.