Strategieën voor productie-uitrol

Opslag vormt vaak het knelpunt in Elasticsearch. Het kiezen van het juiste type en de juiste capaciteit is belangrijk.

• SSD's zijn noodzakelijk: Solid-State Drives (SSD's) bieden aanzienlijk hogere IOPS (Input/Output Operations Per Second) en een hogere doorvoer dan traditionele HDD's.
• Lokale opslag: Geef de voorkeur aan lokale opslag boven netwerkopslag (NAS/SAN) voor betere prestaties en lagere latentie.
• Capaciteit: Plan voor groei! Zorg dat je voldoende ruimte hebt voor je huidige gegevens, replica's en toekomstige uitbreiding.

Het netwerk dat je Elasticsearch-nodes met elkaar verbindt, speelt een cruciale rol in de stabiliteit en prestaties van het cluster. Hoge latentie of een lage bandbreedte kan bewerkingen ernstig beïnvloeden.

• Lage latentie: Houd de netwerklatentie tussen nodes zo laag mogelijk, bij voorkeur binnen hetzelfde datacenter of dezelfde beschikbaarheidszone.
• Hoge bandbreedte: Zorg voor voldoende netwerkbandbreedte voor communicatie tussen nodes, het opnieuw verdelen van shards en gegevensoverdracht tijdens het indexeren en zoeken.
• Toegewijd netwerk: Gebruik indien mogelijk een toegewijd netwerk voor communicatie binnen het Elasticsearch-cluster.

Gegevensverlies is in productie geen optie. De ingebouwde functie Snapshot and Restore van Elasticsearch is het belangrijkste mechanisme om een back-up van je gegevens te maken.

Een snapshot is een back-up van de indices en status van je cluster. Je kunt deze snapshots naar hetzelfde cluster of naar een ander cluster terugzetten, waardoor ze van onschatbare waarde zijn voor herstel.

Voordat je een snapshot maakt, moet je een snapshotrepository registreren. Hier worden je back-upgegevens opgeslagen. Veelgebruikte typen zijn:

• Gedeeld bestandssysteem: Een via het netwerk gekoppelde map die toegankelijk is voor alle master- en datanodes.
• Cloudopslag: Plugins voor S3, GCS, Azure Blob Storage enzovoort, voor opslag op een andere locatie.

Zo registreer je een repository op een gedeeld bestandssysteem:

Zodra een repository is geregistreerd, kun je een snapshot maken. Je kunt specifieke indices of het hele cluster opslaan in een snapshot.

• my_backup_repo is de naam van de repository.
• snapshot_1 is de unieke naam van deze snapshot.
• wait_for_completion=true zorgt ervoor dat de aanroep synchroon verloopt.

Hier zie je een voorbeeld waarin specifieke indices in een snapshot worden opgeslagen:

Noodherstel gaat verder dan eenvoudige back-ups. Het gaat om het herstellen van bewerkingen na een grote storing (bijvoorbeeld een uitval van een datacenter).

• RTO (Recovery Time Objective): De maximaal aanvaardbare uitvaltijd.
• RPO (Recovery Point Objective): Het maximaal aanvaardbare gegevensverlies.

Strategieën zoals Cross-Cluster Replication (CCR) zijn essentieel voor DR. Hiermee kun je indices van een leidend cluster naar een volgend cluster in een andere regio repliceren, zodat je een actief-actieve of actief-passieve opstelling kunt realiseren.

Hoewel dit in andere lessen uitgebreider wordt behandeld, is continue bewaking cruciaal voor productie. Je moet weten wanneer er problemen ontstaan, vaak voordat ze gevolgen hebben voor gebruikers.

• Bewaak de clusterstatus (de statussen rood, geel en groen).
• Houd het resourcegebruik bij (CPU, RAM, schijf-I/O en netwerk).
• Analyseer de prestaties van zoekopdrachten en indexering.
• Gebruik hulpmiddelen zoals de bewakingsfuncties van Kibana, Prometheus en Grafana.

Je hebt belangrijke strategieën geleerd voor het implementeren van Elasticsearch in productie:

• Hardware dimensioneren: Optimaliseer CPU, RAM en vooral snelle SSD-opslag.
• Netwerk: Zorg voor lage latentie en een hoge bandbreedte tussen nodes.
• Back-up: Gebruik de Snapshot and Restore API met robuuste repositories.
• Noodherstel: Plan voor RTO/RPO met strategieën zoals CCR.
• Bewaking: Houd de clusterstatus en prestaties voortdurend in de gaten.

Deze werkwijzen helpen je een veerkrachtig en goed presterend Elasticsearch-cluster te bouwen.