Databases sharden en repliceren

Naarmate applicaties groeien, kan één database een knelpunt worden. Veel verkeer, complexe query's of grote gegevensverzamelingen kunnen de verwerking vertragen.

Om toenemende belasting aan te kunnen en responsiviteit te waarborgen, moeten databases kunnen schalen. In deze les verkennen we twee belangrijke technieken: replicatie en sharding.

Databasereplicatie is het proces waarbij meerdere kopieën van een database worden gemaakt en onderhouden.

Deze kopieën, vaak op verschillende servers, dienen twee hoofddoelen:

• Betere leesprestaties: Verdeel leesverzoeken over meerdere kopieën.
• Hoge beschikbaarheid: Als één server uitvalt, kan een andere kopie het overnemen.

Het meest gebruikte replicatiemodel is Master-Slave. Zo werkt het:

• Eén databaseserver wordt aangewezen als de master. Deze verwerkt alle schrijfbewerkingen (invoegen, bijwerken en verwijderen).
• De andere servers zijn slaves. Zij ontvangen een kopie van de gegevens van de master en verwerken leesbewerkingen.
• Wijzigingen van de master worden voortdurend met de slaves gesynchroniseerd.

Hoewel Master-Slave robuust is, maakt Multi-Master-replicatie het mogelijk dat meerdere databaseservers schrijfbewerkingen accepteren.

Dit kan de schaalbaarheid en beschikbaarheid voor schrijfbewerkingen verder verbeteren, maar introduceert aanzienlijke complexiteit bij het beheren van gegevensconsistentie en het oplossen van mogelijke conflicten wanneer dezelfde gegevens tegelijkertijd op verschillende masters worden bijgewerkt.

Voordelen van replicatie:

• Schaalbaarheid voor lezen: Verdeelt de leesbelasting en verbetert de responstijden.
• Hoge beschikbaarheid: Biedt fouttolerantie; een slave kan indien nodig master worden.
• Herstel na een calamiteit: Er zijn kopieën van de gegevens beschikbaar als er op één server gegevens verloren gaan.

Nadelen:

• Schrijflatentie: Alle schrijfbewerkingen gaan nog steeds via de master.
• Verouderde gegevens: Slaves kunnen achterlopen op de master, wat tot 'uiteindelijke consistentie' leidt.
• Complexiteit: De configuratie en het beheer vereisen een zorgvuldige planning.

Databasesharding is een techniek waarbij een grote database wordt opgesplitst in kleinere, beter beheersbare delen die shards worden genoemd. Elke shard is een volledige, zelfstandige database.

In plaats van één enorme database heb je meerdere kleinere databases, die elk een subset van al je gegevens opslaan. Dit wordt ook wel horizontale partitionering genoemd.

De kern van sharding is de shard-sleutel (of partitiesleutel). Dit is een kolom of een verzameling kolommen in je gegevens die bepaalt bij welke shard een bepaalde rij hoort.

Het kiezen van een effectieve shard-sleutel is cruciaal voor een gelijkmatige verdeling van gegevens en efficiënte query's. Veelgebruikte keuzes zijn user_id, tenant_id of een geografische regio.

Hoe bepalen we welke gegevens waar terechtkomen?

• Sharding op basis van bereik: Gegevens worden gepartitioneerd op basis van een bereik van waarden in de shard-sleutel (bijvoorbeeld gebruikers A-M op Shard 1 en N-Z op Shard 2).
• Sharding op basis van hashing: Er wordt een hashfunctie toegepast op de shard-sleutel en het resultaat bepaalt de shard. Dit leidt vaak tot een gelijkmatigere verdeling.
• Sharding op basis van een directory: Een opzoektabel (directory) koppelt de shard-sleutel aan de juiste shard.

Hoewel sharding enorme schaalbaarheid biedt, brengt het ook aanzienlijke uitdagingen met zich mee:

• Toegenomen complexiteit: Er zijn meer databases om te beheren, te verdelen en van back-ups te voorzien.
• Query's over meerdere shards: Query's waarvoor gegevens uit meerdere shards nodig zijn, zijn complex en vaak minder efficiënt.
• Herbalancering van gegevens: Als één shard te groot of overbelast wordt, is het een lastige bewerking om gegevens over de shards te verdelen (herbalancering).
• Keuze van de shard-sleutel: Een slechte shard-sleutel kan leiden tot een ongelijke verdeling ('hotspots').

We hebben twee krachtige technieken voor het schalen van databases verkend:

• Replicatie: Maakt kopieën van gegevens voor schaalbaarheid bij lezen en hoge beschikbaarheid, vaak met een master-slavemodel.
• Sharding: Partitioneert gegevens horizontaal in onafhankelijke shards en gebruikt een shard-sleutel om gegevens te verdelen en schrijfbewerkingen te schalen.

Beide technieken verbeteren de prestaties en veerkracht aanzienlijk, maar voegen operationele complexiteit toe. De juiste strategie hangt af van de specifieke behoeften en verkeerspatronen van je applicatie.