Tietokannan sharding ja replikaatio

Sovellusten kasvaessa yhdestä tietokannasta voi muodostua pullonkaula. Suuri liikenne, monimutkaiset kyselyt tai suuret tietomäärät voivat hidastaa toimintaa.

Kasvavan kuormituksen käsittelemiseksi ja responsiivisuuden varmistamiseksi tietokantoja on skaalattava. Tässä oppitunnissa käsitellään kahta keskeistä tekniikkaa: replikointia ja shardingia.

Tietokannan replikointi on prosessi, jossa tietokannasta luodaan ja ylläpidetään useita kopioita.

Näillä usein eri palvelimilla sijaitsevilla kopioilla on kaksi päätehtävää:

• Parempi lukusuorituskyky: Lukupyynnöt jaetaan useiden kopioiden kesken.
• Korkea käytettävyys: Jos yksi palvelin vikaantuu, toinen kopio voi ottaa sen tehtävät.

Yleisin replikointimalli on Master-Slave. Se toimii seuraavasti:

• Yksi tietokantapalvelin määritetään masteriksi. Se käsittelee kaikki kirjoitustoiminnot (lisäykset, päivitykset ja poistot).
• Muut palvelimet ovat slaveja. Ne vastaanottavat kopion masterin tiedoista ja käsittelevät lukutoiminnot.
• Masterin muutokset synkronoidaan jatkuvasti slaveille.

Vaikka Master-Slave on vankka, Multi-Master-replikointi sallii useiden tietokantapalvelinten vastaanottaa kirjoitustoimintoja.

Tämä voi parantaa kirjoitusten skaalautuvuutta ja käytettävyyttä entisestään, mutta lisää huomattavasti tietojen yhdenmukaisuuden hallinnan ja mahdollisten ristiriitojen ratkaisemisen monimutkaisuutta, kun samoja tietoja päivitetään samanaikaisesti eri mastereissa.

Replikoinnin edut:

• Lukujen skaalautuvuus: Lukukuorma jakautuu, mikä parantaa vastausaikoja.
• Korkea käytettävyys: Tarjoaa vikasietoisuutta; slave voi tarvittaessa muuttua masteriksi.
• Palautuminen katastrofeista: Tietojen kopiot ovat käytettävissä, jos yhden palvelimen tiedot menetetään.

Haitat:

• Kirjoitusviive: Kaikki kirjoitukset kulkevat edelleen masterin kautta.
• Tietojen vanhentuneisuus: Slavet voivat jäädä masterista jälkeen, mikä johtaa "lopulliseen yhdenmukaisuuteen".
• Monimutkaisuus: Käyttöönotto ja hallinta edellyttävät huolellista suunnittelua.

Tietokannan sharding on tekniikka, jossa suuri tietokanta jaetaan pienempiin, helpommin hallittaviin osiin, joita kutsutaan shardeiksi. Jokainen shard on täydellinen ja itsenäinen tietokanta.

Yhden valtavan tietokannan sijaan käytössä on useita pienempiä tietokantoja, joista kukin tallentaa osan kaikista tiedoista. Tätä kutsutaan myös horisontaaliseksi osioinniksi.

Shardingin ydin on shard-avain (tai osioavain). Se on tietojen sarake tai sarakejoukko, joka määrittää, mihin shardiin tietty rivi kuuluu.

Tehokkaan shard-avaimen valinta on ratkaisevan tärkeää tietojen tasaisen jakautumisen ja tehokkaan kyselyjen suorittamisen kannalta. Yleisiä vaihtoehtoja ovat esimerkiksi user_id, tenant_id tai maantieteellinen alue.

Miten päätämme, minne kukin tieto sijoitetaan?

• Alueeseen perustuva sharding: Tiedot osioidaan shard-avaimen arvoalueen perusteella (esimerkiksi käyttäjät A–M shardissa 1 ja N–Z shardissa 2).
• Hajautusarvoon perustuva sharding: Shard-avaimelle lasketaan hajautusarvo, jonka perusteella valitaan shard. Tämä johtaa usein tasaisempaan jakautumiseen.
• Hakemistoon perustuva sharding: Hakutaulukko eli hakemisto yhdistää shard-avaimen oikeaan shardiin.

Vaikka sharding tarjoaa huomattavan skaalautuvuuden, siihen liittyy merkittäviä haasteita:

• Monimutkaisuuden lisääntyminen: Hallittavia, jaettavia ja varmuuskopioitavia tietokantoja on enemmän.
• Shardien väliset kyselyt: Useista shardeista tietoja hakevat kyselyt ovat monimutkaisia ja usein tehottomampia.
• Tietojen uudelleenbalansointi: Jos jokin shard kasvaa liian suureksi tai kuormittuu liikaa, tietojen jakaminen uudelleen shardien kesken on vaikea toimenpide.
• Shard-avaimen valinta: Huonosti valittu shard-avain voi johtaa epätasaiseen jakautumiseen (”kuumiin pisteisiin”).

Olemme tutustuneet kahteen tehokkaaseen tietokantojen skaalaustekniikkaan:

• Replikointi: Tiedot kopioidaan lukujen skaalautuvuuden ja korkean käytettävyyden saavuttamiseksi, usein Master-Slave-mallia käyttäen.
• Sharding: Tiedot osioidaan vaakasuunnassa itsenäisiin shardeihin. Shard-avaimen avulla tiedot jaetaan ja kirjoitusoperaatioita voidaan skaalata.

Molemmat tekniikat parantavat merkittävästi suorituskykyä ja vikasietoisuutta, mutta lisäävät operatiivista monimutkaisuutta. Sopiva strategia riippuu sovelluksen erityistarpeista ja liikennemalleista.