Replicatieslots en WAL-beheer

De Write-Ahead Log (WAL) vormt de kern van de betrouwbaarheid en replicatie van PostgreSQL. Je kunt WAL zien als een journaal waarin elke wijziging aan je database wordt vastgelegd.

• Elke transactie schrijft naar WAL voordat de gegevens naar schijf worden vastgelegd.
• Zo blijft de integriteit van de gegevens behouden, zelfs als de server crasht.
• Standbyservers gebruiken WAL om wijzigingen van de primaire server opnieuw op te bouwen en gesynchroniseerd te blijven.

Standaard maakt PostgreSQL oude WAL-bestanden vrij om schijfruimte te besparen. Dat is prima voor een zelfstandige server, maar vormt een uitdaging voor replicatie.

Als een standbyserver te ver achterraakt, zijn de benodigde WAL-bestanden mogelijk al van de primaire server verwijderd. Dit leidt tot:

• replicatiefout: de standbyserver kan niet meer bijbenen;
• handmatige tussenkomst: een volledige hersynchronisatie van de standbyserver is nodig.

Replicatieslots zijn de oplossing van PostgreSQL voor het probleem met WAL-bewaring. Een replicatieslot is een persistent object op de primaire server dat voorkomt dat WAL-segmenten die door een standbyserver of logische decoder nodig zijn, automatisch worden verwijderd.

• Ze garanderen dat WAL-bestanden worden bewaard totdat ze zijn verwerkt.
• Ze houden de voortgang van elke verbonden verbruiker bij.
• Slots zorgen ervoor dat een standbyserver altijd kan bijbenen, zelfs na een lange verbroken verbinding.

Wanneer een replicatieslot actief is, verwijdert de primaire server geen WAL-bestanden die de consument van het slot (bijvoorbeeld een stand-byserver of een proces voor logische decodering) nog niet als verwerkt heeft bevestigd.

Hierdoor ontstaat een 'bladwijzer' in de WAL-stroom. De primaire server verwijdert WAL-segmenten pas zodra alle actieve slots voorbij dat punt zijn gevorderd.

Fysieke replicatieslots worden gebruikt met fysieke streamingreplicatie. Ze houden de LSN (Log Sequence Number) van de stand-by bij en zorgen ervoor dat alle benodigde WAL-bestanden voor die stand-by behouden blijven.

Gebruik de functie pg_create_physical_replication_slot() om een fysiek slot te maken. Vervang my_physical_slot door een beschrijvende naam.

Logische replicatieslots worden gebruikt voor logische replicatie (het pub/sub-model van PostgreSQL) of andere toepassingen voor logische decodering. Ze decoderen WAL naar een stroom van logische wijzigingen (bijvoorbeeld INSERT, UPDATE, DELETE).

Je geeft een plug-in op (zoals pgoutput voor ingebouwde logische replicatie) om te bepalen hoe WAL-records worden omgezet. Vervang my_logical_slot door de gewenste naam.

Het is essentieel om je replicatieslots te bewaken, zodat je zeker weet dat ze actief zijn en niet buitensporig veel WAL-bestanden vasthouden. De weergave pg_replication_slots biedt gedetailleerde informatie:

• slot_name: De naam van het slot.
• active: True als er momenteel een consument is verbonden.
• restart_lsn: De oudste WAL-LSN die het slot nog nodig heeft.
• confirmed_flush_lsn: Voor logische slots: de LSN die door de consument is bevestigd.

Voer deze query uit om bestaande slots te bekijken:

Wanneer een stand-byserver of logische consument niet meer nodig is, is het belangrijk om het bijbehorende replicatieslot te verwijderen. Een ongebruikt slot blijft onbeperkt WAL-bestanden verzamelen, waardoor de schijfruimte van je primaire server mogelijk vol raakt!

Gebruik de functie pg_drop_replication_slot() en geef de naam van het slot op. Wees voorzichtig: als je een actief slot verwijdert, wordt de verbinding met de consument verbroken.

Replicatieslots zijn krachtig, maar brengen ook een verantwoordelijkheid met zich mee: schijfruimte beheren. Inactieve slots veroorzaken vaak dat de schijfruimte op primaire servers uitgeput raakt.

• Controleer pg_replication_slots regelmatig op inactieve slots.
• Als een stand-by permanent offline is, verwijder je het slot onmiddellijk.
• Bewaar de wal_lag (zoals weergegeven in de controlequery) om trage consumenten te ontdekken.

Proactief beheer voorkomt storingen!

In deze les hebben we kennisgemaakt met de replicatieslots van PostgreSQL, een belangrijke functie voor robuuste replicatie en logische decodering.

• Slots garanderen het behouden van WAL voor verbonden consumenten.
• Er zijn twee typen: fysiek voor streamingreplicatie en logisch voor logische decodering.
• Je kunt slots maken, bewaken (met pg_replication_slots) en, heel belangrijk, verwijderen.
• Beheer je slots altijd zorgvuldig om problemen met schijfruimte door inactieve slots te voorkomen!