Replicatie en fouttolerantie

De replicatiefactor bepaalt hoeveel kopieën van elke partitie Kafka in je cluster bewaart.

• Een replicatiefactor van 1 betekent één kopie (geen fouttolerantie).
• Een factor van 3 (bijvoorbeeld 3 kopieën) is gebruikelijk in productieomgevingen.

Elke kopie wordt een replica genoemd.

Voor elke partitie wordt één replica aangewezen als de leider. De andere replica's zijn volgers.

• De leider verwerkt alle lees- en schrijfverzoeken voor die partitie.
• Volgers repliceren passief gegevens van de leider om gesynchroniseerd te blijven.

Dit ontwerp vereenvoudigt de interactie met clients, omdat zij alleen met de leider communiceren.

Kafka houdt bij welke volgers volledig zijn bijgewerkt met de leider. Deze groep wordt de set In-Sync Replica (ISR) genoemd.

De ISR-set bevat de leider en alle volgers die alle berichten van de leider hebben gerepliceerd en niet te ver achterlopen.

Dit is essentieel om de duurzaamheid van gegevens te garanderen.

Producenten kunnen instellen op hoeveel bevestigingen (acks) ze wachten voordat ze een bericht als 'succesvol verzonden' beschouwen. Dit heeft invloed op duurzaamheid en prestaties.

• acks=0: Geen bevestigingen. Het snelst, maar gegevens kunnen verloren gaan.
• acks=1: De leader bevestigt de ontvangst. Beter, maar gegevens kunnen verloren gaan als de leader uitvalt voordat de followers zijn gesynchroniseerd.
• acks=all (of -1): Alle ISR's moeten bevestigen. Het langzaamst, maar met de sterkste garantie op gegevensbehoud.

Followers sturen voortdurend fetch-verzoeken naar de leader om nieuwe berichten op te halen. Vervolgens schrijven ze deze berichten naar hun eigen lokale logboek.

Door deze voortdurende synchronisatie kan een follower uit de ISR bij een storing van de leader snel de nieuwe leader worden zonder gegevensverlies.

Wat gebeurt er als de broker waarop de leader van een partitie draait uitvalt?

1. De leader wordt onbeschikbaar.
2. Kafka start automatisch een leaderverkiezing.
3. Een van de andere brokers in de ISR-set wordt als nieuwe leader gekozen.

Dit proces verloopt snel en transparant voor clients, waardoor een hoge beschikbaarheid wordt gegarandeerd.

Als een broker waarop een follower-replica draait uitvalt, is dat minder kritiek:

• De follower wordt tijdelijk uit de ISR-set verwijderd.
• De leader blijft verzoeken verwerken.
• Zodra de uitgevallen broker is hersteld, haalt deze de achterstand bij de leader in en voegt hij zich weer bij de ISR.

Het systeem blijft gedurende het hele proces volledig operationeel.

Je stelt de replicatiefactor in wanneer je een topic aanmaakt. Hier volgt een voorbeeld met de opdrachtregelprogramma's van Kafka:

kafka-topics.sh --create --topic my_replicated_topic --bootstrap-server localhost:9092 --partitions 3 --replication-factor 3

Hiermee maak je 'my_replicated_topic' met 3 partities, die elk 3 kopieën verspreid over brokers hebben.

We hebben de cruciale rol van replicatie in Kafka voor gegevensveiligheid en hoge beschikbaarheid behandeld.

• Replicatiefactor: Het aantal kopieën van de gegevens.
• Leaders en followers: Rollen voor het verwerken van verzoeken en het synchroniseren van gegevens.
• In-Sync Replicas (ISR): De cruciale set volledig gesynchroniseerde replica's.
• Bevestigingen (acks): Instelling van de producent waarmee je het gegevensbehoud regelt.
• Fouttolerantie: Hoe Kafka storingen van brokers opvangt.

Als je deze concepten begrijpt, kun je robuuste Kafka-systemen bouwen.