Wat is Apache Kafka?

Apache Kafka is een opensourceplatform voor het in realtime verwerken van gegevensstromen — zie het als een snel en betrouwbaar postkantoor voor je gegevens.

Er worden voortdurend gegevens gemaakt — klikken, sensormetingen en nog veel meer. Traditionele systemen kunnen dat volume en die snelheid niet aan. Kafka is gebouwd om dit allemaal betrouwbaar te verplaatsen.

Kafka behandelt alle gegevens als een continue gebeurtenissenstroom. Elke gebeurtenis legt iets vast dat is gebeurd, is onveranderlijk en geordend, en blijft eindeloos doorstromen.

De sterke punten van Kafka: schaalbaarheid voor enorme hoeveelheden, duurzaamheid zodat gegevens niet verloren gaan, fouttolerantie bij storingen en een hoge verwerkingssnelheid — miljoenen berichten per seconde.

Stel je een e-commercesite voor: elke klik en aankoop is een gebeurtenis die Kafka onmiddellijk vastlegt. Dat maakt realtime analyses, personalisatie en fraudedetectie mogelijk.

Kafka fungeert als een centrale hub, zodat microservices berichten naar elkaar kunnen sturen zonder rechtstreeks aan elkaar gekoppeld te zijn. Door die ontkoppeling blijven systemen flexibel en eenvoudig uit te breiden.

Kafka is uitstekend geschikt voor event sourcing: sla elke statuswijziging op als een onveranderlijke gebeurtenis, niet alleen de huidige waarde. Zo krijg je een volledige controlehistorie en kun je eerdere statussen opnieuw opbouwen.

Kafka heeft twee hoofdrollen: producenten schrijven gebeurtenissen en consumenten lezen ze. Gebeurtenissen staan in categorieën die onderwerpen worden genoemd.

Je hebt het beeld te pakken: Kafka is een gedistribueerd streamingplatform dat is gebouwd voor schaalbaarheid, duurzaamheid en fouttolerantie — voor analyses, berichtenverkeer en event sourcing. Hierna behandelen we de belangrijkste onderdelen.