Sharding og datareplikering

Etter hvert som applikasjonen vokser, kan én enkelt database få problemer med å håndtere alle dataene og all trafikken. Dette kan føre til treg ytelse og til og med systemkrasj.

For å bygge virkelig skalerbare og pålitelige systemer trenger vi avanserte strategier for å håndtere data på tvers av flere maskiner. Denne leksjonen utforsker to viktige teknikker: sharding og replikering.

Se for deg et enormt bibliotek med millioner av bøker. Hvis alle bøkene står på én hylle, er det vanskelig og tidkrevende å finne en bestemt bok. Sharding er som å dele biblioteket opp i mange mindre, håndterbare seksjoner, der hver seksjon står på sin egen hylle.

• Det er en teknikk for partisjonering av databaser.
• Dataene deles opp i mindre, uavhengige «shards».
• Hver shard er en komplett databaseinstans.

Sharding bidrar til å overvinne begrensningene til én enkelt databaseserver. Det gir flere viktige fordeler:

• Horisontal skalerbarhet: Legg til flere maskiner (shards) etter hvert som datamengden vokser.
• Bedre ytelse: Spørringer kjøres raskere på mindre datasett.
• Redusert belastning: Lese- og skriveoperasjoner fordeles på flere servere.
• Økt gjennomstrømming: Håndter flere samtidige forespørsler.

Når du bruker sharding i en database, trenger du en måte å avgjøre hvilken del av dataene som skal ligge i hvilken shard. Dette gjøres ved hjelp av en shard-nøkkel (eller partisjonsnøkkel).

Shard-nøkkelen er en kolonne (eller et sett med kolonner) i tabellen som bestemmer hvordan dataene fordeles. For eksempel kan bruker-ID-er brukes til å fordele brukerdata på ulike servere.

Det finnes ulike metoder for å fordele data:

• Områdebasert sharding: Dataene partisjoneres basert på et verdiområde (for eksempel brukere med ID-ene 1–1000 på shard A og 1001–2000 på shard B).
• Hash-basert sharding: En hash-funksjon brukes på shard-nøkkelen, og resultatet bestemmer hvilken shard som skal brukes (for eksempel hash(userID) % numShards).
• Katalogbasert sharding: En oppslagstabell (katalog) kobler shard-nøkkelen til riktig shard.

Sharding bidrar til skalering, men hva skjer hvis én enkelt shard svikter? Det er her datareplikering kommer inn. Replikering betyr at det opprettes flere kopier av dataene, som lagres på ulike servere.

Dette sikrer at systemet forblir tilgjengelig selv om én server går ned, og gir feiltoleranse og høy tilgjengelighet.

Et vanlig replikasjonsmønster er Master-Replica (eller Primary-Secondary). Slik fungerer det:

• Én server er master-databasen (primærdatabasen) og håndterer alle skriveoperasjoner.
• Flere replika-databaser (sekundærdatabaser) mottar kopier av dataene fra masteren.
• Replikaene håndterer vanligvis leseoperasjoner og fordeler lesebelastningen.

Replikering kan være synkron (data skrives til alle replikaer før operasjonen bekreftes) eller asynkron (masteren bekrefter skrivingen før replikaene mottar dataene).

I et Multi-Master-oppsett kan flere databaseinstanser ta imot skriveoperasjoner. Dette gir enda høyere tilgjengelighet og kan forbedre skriveytelsen i geografisk distribuerte systemer.

Det introduserer imidlertid kompleksitet, for eksempel konfliktløsning, siden samtidige skrivinger til de samme dataene på ulike mastere må samordnes.

Sharding og replikering brukes ofte sammen for å bygge svært skalerbare og robuste systemer. Hver shard kan selv være et replikert sett med databaser (for eksempel en master med flere replikaer).

Denne kombinasjonen sikrer at:

• Dataene fordeles horisontalt (sharding).
• Hver distribuerte del av dataene har høy tilgjengelighet og feiltoleranse (replikering).

Selv om sharding og replikering er kraftige teknikker, medfører de også kompleksitet:

• Økt driftskompleksitet: Det er vanskeligere å administrere flere databaseinstanser.
• Rebalansering av data: Det kan være krevende å fordele dataene på nytt når shards legges til eller fjernes.
• Distribuerte transaksjoner: Det kan være utfordrende å sikre konsistens på tvers av flere shards (et tema for viderekomne leksjoner).
• Valg av shard-nøkkel: En dårlig shard-nøkkel kan føre til «hot spots» (at én shard blir overbelastet).

I denne leksjonen har vi utforsket to kritiske teknikker for avansert datalagring:

• Sharding: En stor database deles opp i mindre, uavhengige deler (shards) for å oppnå horisontal skalerbarhet og bedre ytelse.
• Replikering: Det opprettes flere kopier av dataene på ulike servere for å sikre høy tilgjengelighet, feiltoleranse og fordele lesebelastningen.

Til sammen er disse strategiene grunnleggende for å bygge robuste systemer med høy ytelse, som kan håndtere enorme mengder data og trafikk.