Oversigt over Kafka-arkitekturen

Når du har flere brokere, danner de en Kafka-klynge. Klyngen arbejder sammen som ét system med høj tilgængelighed.

Hvis en broker svigter, kan andre overtage dens opgaver, så databehandlingen fortsætter uden afbrydelse. Det er afgørende for robuste systemer.

For at brokere kan arbejde effektivt sammen, har de brug for en koordinator. Det er her, Apache ZooKeeper kommer ind i billedet.

ZooKeeper administrerer og koordinerer Kafka-brokerne. Den holder styr på:

• Hvilke brokere der er aktive og tilgængelige.
• Konfigurationer af emner og partitioner.
• Valg af controller (hvilken broker der er 'leder').

Den fungerer som den centrale sandhedskilde for klyngens metadata.

I Kafka organiseres data i emner. Et emne er et kategori- eller feednavn, som poster publiceres til. Tænk på det som en mappe til bestemte typer meddelelser.

Du kan f.eks. have emnet user_signups til nye brugerregistreringer og emnet product_views til brugernes browseraktivitet.

For at håndtere store datamængder og muliggøre parallel behandling opdeles emner i partitioner.

• Hver partition er en ordnet, uforanderlig sekvens af poster.
• Data i en partition føjes til en log.
• Partitioner fordeles på tværs af brokere, så vandret skalering bliver mulig.

Det betyder, at flere forbrugere kan læse fra forskellige partitioner i det samme emne samtidig.

På disken gemmes hver partition som en log. Denne log opdeles yderligere i segmenter.

• Et segment er en fysisk fil i brokerens filsystem.
• Nye meddelelser føjes altid til det aktive segment.
• Ældre segmenter kan slettes eller komprimeres baseret på opbevaringspolitikker.

Denne logstrukturerede lagring er optimeret til sekventielle skrivninger og læsninger, hvilket gør Kafka meget effektiv.

Kafkas grundlæggende design bygger på begrebet en uforanderlig commit-log. Når en meddelelse først er skrevet til en partition, kan den ikke ændres.

Nye meddelelser føjes altid til slutningen. Dette enkle, men effektive princip er grundlæggende for Kafkas garantier for konsistens og holdbarhed.

Applikationer interagerer med Kafka-klyngen ved hjælp af klienter:

• Producenter: Applikationer, der publicerer (sender) meddelelser til Kafka-emner.
• Forbrugere: Applikationer, der abonnerer på emner og behandler meddelelserne.

Disse klienter interagerer ikke direkte med hinanden, men kun med Kafka-brokerne. Det skaber et system med meget løs kobling.

Kafka opnår høj fejltolerance gennem replikering. Hver partition kan have flere kopier (replikaer), som er fordelt på forskellige brokere.

• Én replika er lederen og håndterer alle læse- og skriveanmodninger for partitionen.
• De øvrige er følgere, som passivt replikerer lederens data.

Hvis lederen svigter, hjælper ZooKeeper med at vælge en ny leder blandt følgerne, så tjenesten fortsætter.

Godt gået! I denne lektion undersøgte vi den grundlæggende arkitektur i Apache Kafka.

• Brokere danner den distribuerede klynge, som gemmer og leverer data.
• ZooKeeper fungerer som klyngens vigtige koordinator.
• Data organiseres i emner, som opdeles i partitioner for at opnå skalerbarhed.
• Partitioner gemmes som uforanderlige logge på disken.
• Producenter sender meddelelser, og forbrugere læser dem.
• Replikering sikrer fejltolerance og høj tilgængelighed.

Dette distribuerede design gør Kafka utrolig robust og skalerbar til streaming af data i realtid!