Load balancers en caching

Stel je een populaire website met miljoenen gebruikers voor. Als alle gebruikers toegang proberen te krijgen tot één server, raakt die al snel overbelast!

Een load balancer werkt als een verkeersregelaar vóór je servers. Deze verdeelt binnenkomend netwerkverkeer over meerdere backend-servers of bronnen.

Load balancers zijn essentieel voor moderne toepassingen omdat ze verschillende belangrijke voordelen bieden:

• Betere prestaties: Voorkomt dat één server een knelpunt wordt door de belasting te spreiden.
• Hoge beschikbaarheid: Als één server uitvalt, stuurt de load balancer het verkeer automatisch naar gezonde servers, zodat de dienstverlening doorgaat.
• Schaalbaarheid: Voeg eenvoudig servers toe aan of verwijder servers uit je servergroep zonder gebruikers te beïnvloeden, zodat je systeem kan meegroeien.

Wanneer een client een verzoek doet (bijvoorbeeld door een webpagina te bezoeken), komt dat eerst aan op het IP-adres van de load balancer. De load balancer bepaalt vervolgens welke backend-server het verzoek het beste kan verwerken.

De load balancer stuurt het verzoek door naar de gekozen server en de server stuurt zijn antwoord via de load balancer terug naar de client. Dit proces is transparant voor de gebruiker.

Load balancers gebruiken verschillende algoritmen om te bepalen waar ze verkeer naartoe sturen. Twee veelgebruikte zijn:

• Round-robin: Verdeelt verzoeken achtereenvolgens over elke server. Bijvoorbeeld: Server 1, daarna Server 2, daarna Server 3, en vervolgens opnieuw.
• Minste verbindingen: Stuurt nieuwe verzoeken naar de server met de minste actieve verbindingen. Dit is handig wanneer verzoeken verschillende verwerkingstijden kunnen hebben.

Caching is een techniek waarbij kopieën van vaak opgevraagde gegevens worden opgeslagen op een tijdelijke, snellere opslaglocatie. Deze tijdelijke opslag heet een 'cache'.

Zie het als het onthouden van het antwoord op een veelgestelde vraag. In plaats van het antwoord elke keer opnieuw op te zoeken, haal je het direct uit je geheugen.

Caching verbetert de prestaties en efficiëntie van een systeem aanzienlijk door:

• Latentie te verminderen: Gegevens worden uit een snelle cache opgehaald in plaats van uit een tragere database of externe service.
• De databasebelasting te verlagen: Minder verzoeken bereiken je primaire database, waardoor bronnen worden bespaard en overbelasting wordt voorkomen.
• De gebruikerservaring te verbeteren: Snellere responstijden zorgen voor een soepelere en prettigere ervaring voor gebruikers.

Caching kan op verschillende lagen van je systeem plaatsvinden, afhankelijk van waar de gegevens nodig zijn:

• Toepassingscache: Je toepassing slaat gegevens op in het eigen geheugen of in een lokale cacheopslag.
• Gedistribueerde cache: Een afzonderlijke, gedeelde service (zoals Redis of Memcached) waartoe meerdere instanties van een toepassing toegang hebben.
• Databasecache: Databases hebben vaak eigen interne cachingmechanismen voor vaak uitgevoerde query's of gegevensblokken.

Wanneer je systeem gegevens uit een cache probeert op te halen, gebeurt een van deze twee dingen:

• Er is sprake van een cache-hit als de gegevens in de cache worden gevonden. Mooi! De gegevens worden snel teruggegeven en de oorspronkelijke bron wordt niet belast.
• Er is sprake van een cache-miss als de gegevens niet in de cache worden gevonden. Het systeem haalt de gegevens vervolgens op uit de oorspronkelijke bron (bijvoorbeeld de database) en slaat ze meestal op in de cache voor toekomstige verzoeken.

Hier zie je een vereenvoudigde weergave van de logica die een toepassing kan gebruiken bij het ophalen van gegevens. Dit illustreert het concept van een cache-hit en cache-miss:

function getData(key):
  // 1. Try to get data from cache
  data = cache.get(key)

  // 2. If data is found in cache (Cache Hit)
  if data is not null:
    return data
  // 3. If data is not found (Cache Miss)
  else:
    // Fetch from original source (e.g., database)
    data = database.fetch(key)
    // Store in cache for next time
    cache.put(key, data)
    return data

Met dit patroon worden vaak opgevraagde gegevens opgeslagen en snel opgehaald, waardoor de belasting van de database afneemt.

In deze les hebben we twee essentiële componenten voor het bouwen van robuuste en goed presterende backend-systemen verkend: load balancers en caching.

• Load balancers: Verdelen binnenkomend verkeer over meerdere servers om overbelasting te voorkomen, een hoge beschikbaarheid te garanderen en naadloze schaalbaarheid mogelijk te maken.
• Caching: Slaat kopieën van vaak opgevraagde gegevens op in snellere, tijdelijke opslag om latentie te verminderen, de databasebelasting te verlagen en de algehele gebruikerservaring te verbeteren.

Een goede beheersing van deze concepten is essentieel voor het ontwerpen van schaalbare en responsieve toepassingen die efficiënt met verkeer uit de echte wereld kunnen omgaan.