Sharding og datareplikering

Efterhånden som din applikation vokser, kan én enkelt database få svært ved at håndtere alle dataene og al trafikken. Det kan føre til langsom ydeevne og endda systemnedbrud.

Hvis du vil bygge systemer, der virkelig kan skaleres og er pålidelige, har du brug for avancerede strategier til at håndtere data på tværs af flere maskiner. Denne lektion gennemgår to vigtige teknikker: sharding og replikering.

Forestil dig et enormt bibliotek med millioner af bøger. Hvis alle bøgerne står på én hylde, er det svært og langsomt at finde en bestemt bog. Sharding svarer til at opdele biblioteket i mange mindre, håndterbare sektioner, der hver står på sin egen hylde.

• Det er en teknik til partitionering af databaser.
• Data opdeles i mindre, uafhængige "shards".
• Hver shard er en komplet databaseinstans.

Sharding hjælper med at overvinde begrænsningerne ved én enkelt databaseserver. Det giver flere vigtige fordele:

• Horisontal skalerbarhed: Tilføj flere maskiner (shards), efterhånden som datamængden vokser.
• Forbedret ydeevne: Forespørgsler kører hurtigere på mindre datasæt.
• Reduceret belastning: Læse- og skrivehandlinger fordeles på flere servere.
• Øget gennemløb: Håndter flere samtidige forespørgsler.

Når du bruger sharding på en database, skal du have en måde at afgøre, hvilken del af dataene der skal ligge i hvilken shard. Det gør du ved hjælp af en shard-nøgle (eller partitionsnøgle).

Shard-nøglen er en kolonne (eller et sæt kolonner) i din tabel, som bestemmer, hvordan dataene fordeles. Du kan for eksempel bruge bruger-ID'er til at fordele brugerdata på forskellige servere.

Der findes forskellige metoder til at fordele data:

• Intervalbaseret sharding: Data partitioneres ud fra et interval af værdier (f.eks. brugere med ID'erne 1-1000 på shard A og 1001-2000 på shard B).
• Hashbaseret sharding: En hashfunktion anvendes på shard-nøglen, og resultatet bestemmer sharden (f.eks. hash(userID) % numShards).
• Mappebaseret sharding: En opslagstabel (mappe) knytter shard-nøglen til den relevante shard.

Sharding hjælper med skalering, men hvad sker der, hvis en enkelt shard svigter? Det er her, datareplikering kommer ind i billedet. Replikering betyder, at du opretter flere kopier af dine data og gemmer dem på forskellige servere.

Det sikrer, at dit system forbliver tilgængeligt, selv hvis en server går ned, og giver fejltolerance og høj tilgængelighed.

Et almindeligt replikationsmønster er Master-Replica (eller Primary-Secondary). Det fungerer sådan:

• Én server er master-databasen (primær) og håndterer alle skrivehandlinger.
• Flere replika-databaser (sekundære) modtager kopier af dataene fra master-databasen.
• Replikaerne håndterer typisk læsehandlinger og fordeler læsebelastningen.

Replikering kan være synkron (data skrives til alle replikaer, før handlingen bekræftes) eller asynkron (masteren bekræfter skrivningen, før replikaerne modtager den).

I en opsætning med Multi-Master kan flere databaseinstanser acceptere skrivehandlinger. Det giver endnu højere tilgængelighed og kan forbedre skriveydeevnen i geografisk distribuerede systemer.

Det introducerer dog kompleksitet som konfliktløsning, fordi samtidige skrivninger af de samme data på forskellige mastere skal afstemmes.

Sharding og replikering bruges ofte sammen til at bygge systemer, der kan skaleres meget og er modstandsdygtige. Hver shard kan selv være et replikeret sæt databaser (f.eks. en master med flere replikaer).

Denne kombination sikrer, at:

• Data fordeles horisontalt (sharding).
• Hver distribueret del af dataene har høj tilgængelighed og fejltolerance (replikering).

Selvom sharding og replikering er effektive, medfører de kompleksitet:

• Øget driftsmæssig kompleksitet: Det er sværere at administrere flere databaseinstanser.
• Genbalancering af data: Det kan være vanskeligt at omfordele data, når du tilføjer eller fjerner shards.
• Distribuerede transaktioner: Det kan være udfordrende at sikre konsistens på tværs af flere shards (et emne for avancerede lektioner).
• Valg af shard-nøgle: En dårlig shard-nøgle kan føre til "hot spots" (hvor én shard bliver overbelastet).

I denne lektion gennemgik vi to vigtige teknikker til avanceret datalagring:

• Sharding: Opdeling af en stor database i mindre, uafhængige dele (shards) for at opnå horisontal skalerbarhed og forbedre ydeevnen.
• Replikering: Oprettelse af flere kopier af data på forskellige servere for at sikre høj tilgængelighed og fejltolerance samt fordele læsebelastningen.

Tilsammen er disse strategier grundlæggende for at bygge robuste systemer med høj ydeevne, som kan håndtere enorme mængder data og trafik.