Message queues en event-driven architectuur

Directe communicatie tussen services kan traag en riskant zijn. Stel je voor dat één service wacht totdat een andere een lange taak heeft voltooid; hierdoor worden resources geblokkeerd en vertraagt alles.

Asynchrone communicatie zorgt ervoor dat services onafhankelijk kunnen werken. Hierdoor blokkeren ze elkaar niet, verbetert de algehele reactiesnelheid en kunnen systemen beter schalen.

Een berichtenwachtrij is een onderdeel dat berichten tijdelijk opslaat totdat ze door een ontvangende service worden verwerkt. Het fungeert als buffer tussen verschillende delen van een systeem.

• Producent: De service die berichten aanmaakt en naar de wachtrij stuurt.
• Consument: De service die berichten uit de wachtrij haalt en verwerkt.
• Wachtrij: De betrouwbare buffer waarin berichten worden bewaard.

Dit is een typische stroom voor een berichtenwachtrij:

1. Een service van het type producent maakt een bericht aan en stuurt het naar de wachtrij.
2. De berichtenwachtrij slaat het bericht betrouwbaar op, zelfs als de consument offline is.
3. Een service van het type consument haalt het bericht uit de wachtrij.
4. De consument verwerkt het bericht.
5. Nadat het bericht succesvol is verwerkt, wordt het bevestigd en uit de wachtrij verwijderd.

Berichtenwachtrijen bieden verschillende belangrijke voordelen voor het bouwen van robuuste systemen:

• Ontkoppeling: Producenten hoeven niets te weten over consumenten, en omgekeerd. Ze hoeven alleen de wachtrij te kennen.
• Buffering: Wachtrijen verwerken verkeerspieken, zodat consumenten tijdens piekbelasting niet worden overbelast.
• Fouttolerantie: Als een consument uitvalt, blijven berichten veilig in de wachtrij staan totdat de consument hersteld is of een andere consument het overneemt.
• Schaalbaarheid: Je kunt eenvoudig meer consumenten toevoegen om berichten sneller te verwerken naarmate de vraag groeit.

Stel je een applicatie voor waarin gebruikers afbeeldingen uploaden die tijdrovende verwerking vereisen (bijvoorbeeld het wijzigen van afmetingen of het toevoegen van een watermerk).

In plaats van de gebruiker te laten wachten, stuurt de webserver (producent) een bericht met de tekst "afbeelding geüpload" naar een wachtrij. Een aparte service voor beeldverwerking (consument) haalt het bericht op, verwerkt de afbeelding op de achtergrond en brengt de gebruiker daarna op de hoogte. Dit zorgt voor directe feedback en een soepele gebruikerservaring.

Een Event-Driven Architecture (EDA) is een ontwerppatroon waarin services communiceren door events te produceren en te consumeren. Een event is een belangrijke statuswijziging of gebeurtenis binnen een systeem, zoals "OrderCreated" of "UserLoggedIn".

Je kunt het vergelijken met een krant: er gebeurt iets en iedereen die geïnteresseerd is, kan erover lezen en reageren, zonder rechtstreeks contact met de bron.

EDA steunt op deze fundamentele onderdelen:

• Eventproducent: Een service die een statuswijziging detecteert en een event publiceert. Het maakt niet uit wie het event consumeert.
• Eventbroker: Een centraal systeem (vaak een berichtenwachtrij of streamingplatform) dat events van producenten ontvangt en ze aflevert bij geïnteresseerde consumenten.
• Eventconsument: Een service die zich abonneert op specifieke eventtypen en acties uitvoert wanneer die events plaatsvinden.

Eventgestuurde architecturen bieden krachtige voordelen voor complexe gedistribueerde systemen:

• Reactiesnelheid: Systemen kunnen direct reageren op wijzigingen in verschillende services.
• Schaalbaarheid: Voeg eenvoudig nieuwe consumenten toe om op events te reageren zonder bestaande producenten aan te passen.
• Flexibiliteit: Nieuwe functies kunnen worden toegevoegd door simpelweg nieuwe eventconsumenten te maken die naar bestaande events luisteren.
• Veerkracht: Services zijn geïsoleerd; als één consument uitvalt, kunnen andere consumenten nog steeds events verwerken.

Berichtenwachtrijen fungeren vaak als de eventbroker in een eventgestuurde architectuur. Ze bieden het betrouwbare, asynchrone communicatiekanaal dat EDA nodig heeft om events van producenten naar consumenten te bezorgen.

Hoewel berichtenwachtrijen een bericht meestal aan één consument (of een groep) bezorgen, kunnen geavanceerdere platforms voor "eventstreaming" events langer opslaan en aan meerdere consumenten bezorgen. Zo maken ze verschillende patronen en historische analyses mogelijk.

We hebben onderzocht hoe berichtenwachtrijen asynchrone communicatie mogelijk maken, met belangrijke voordelen zoals ontkoppeling, buffering en fouttolerantie. We hebben ook kennisgemaakt met Event-Driven Architecture (EDA), waarin systemen op events reageren en zo schaalbaarheid, reactiesnelheid en flexibiliteit bevorderen.

Berichtenwachtrijen dienen in EDA vaak als ruggengraat voor de bezorging van events. Deze patronen zijn essentieel voor het bouwen van robuuste, schaalbare en veerkrachtige gedistribueerde systemen.