Concepten van RabbitMQ-clustering

Binnen een RabbitMQ-cluster kunnen nodes in een van twee hoofdmodi werken:

• RAM-nodes: Slaan definities voornamelijk op in het geheugen.
• Schijfnodes: Slaan definities blijvend op schijf op.

Inzicht in deze typen is essentieel voor een gezonde clusterconfiguratie.

RAM-nodes slaan alle definities van wachtrijen, exchanges, bindings, gebruikers en machtigingen uitsluitend in het geheugen op. Daardoor zijn deze definities zeer snel toegankelijk.

Als een RAM-node echter opnieuw wordt gestart en de enige node in een cluster is, verliest deze al zijn definities. In een cluster met meerdere nodes kan een RAM-node zijn definities herstellen vanaf een schijfnode.

Schijfnodes slaan alle definities (wachtrijen, exchanges enzovoort) blijvend op schijf op. Dit is cruciaal voor duurzaamheid.

Elk RabbitMQ-cluster moet ten minste één schijfnode hebben. Als alle nodes in een cluster RAM-nodes zijn en het cluster opnieuw wordt gestart, gaan alle definities verloren. De schijfnode fungeert als de 'bron van waarheid'.

Wanneer nodes een cluster vormen, delen ze hun configuratie en status. Deze 'gedeelde status' omvat:

• Virtuele hosts
• Exchanges en hun typen
• Namen en eigenschappen van wachtrijen (maar niet de berichtinhoud!)
• Bindings tussen exchanges en wachtrijen
• Gebruikers en hun machtigingen

Zo blijft het cluster consistent.

Hoewel definities worden gedeeld, is het belangrijk te weten dat voor niet-gemirrorde wachtrijen de daadwerkelijke berichtgegevens alleen op de 'master'-node van de wachtrij staan.

Als die master-node uitvalt, worden berichten in niet-gemirrorde wachtrijen op die node onbeschikbaar. Daarom zijn gespiegelde wachtrijen (die in een latere les worden behandeld) essentieel voor echte hoge beschikbaarheid van berichten.

RabbitMQ is gebouwd op Erlang, een programmeertaal die bekendstaat om haar krachtige mogelijkheden voor gedistribueerde systemen. Dankzij de ingebouwde functies van Erlang kunnen nodes in een RabbitMQ-cluster naadloos communiceren.

Ze gebruiken een protocol voor communicatie tussen nodes om de status te synchroniseren, berichten te repliceren (voor gespiegelde wachtrijen) en clientverbindingen te beheren.

Clustering biedt verschillende belangrijke voordelen:

• Hoge beschikbaarheid: Als één node uitvalt, kunnen andere nodes het overnemen.
• Fouttolerantie: Het systeem blijft werken, zelfs als er problemen met nodes zijn.
• Hogere doorvoer: Verdeel clientverbindingen en werklast over meerdere nodes.
• Centraal beheer: Beheer het hele cluster als één geheel.

Hierdoor wordt je berichteninfrastructuur als geheel veerkrachtiger.

Hoewel clustering krachtig is, kent het ook beperkingen:

• Netwerklatentie: Niet ideaal voor nodes die verspreid zijn over grote netwerken (WAN's).
• Berichtverlies (zonder spiegeling): Berichten in niet-gemirrorde wachtrijen kunnen verloren gaan als hun master-node uitvalt.
• Split-brainscenario's: Door netwerkpartitionering kunnen nodes het contact verliezen, waardoor inconsistente overzichten ontstaan.

Hiermee moet je bij het ontwerp zorgvuldig rekening houden.

In deze les hebben we de belangrijkste concepten van RabbitMQ-clustering verkend. Je hebt geleerd:

• Waarom clustering essentieel is voor hoge beschikbaarheid en fouttolerantie.
• Wat het verschil is tussen RAM-nodes en schijfnodes.
• Hoe nodes in een cluster definities en status delen.
• Wat het belangrijke verschil is tussen gedeelde definities en de locatie van berichtgegevens.
• Wat de belangrijkste voordelen en enkele beperkingen van clustering zijn.

Vervolgens gaan we een cluster opzetten!