Database Migration Service (DMS) en Schema Conversion Tool

AWS Database Migration Service (DMS) migreert databases naar AWS met minimale downtime. De service ondersteunt homogene migraties (bijvoorbeeld Oracle naar Oracle en MySQL naar MySQL) en heterogene migraties (bijvoorbeeld Oracle naar Aurora PostgreSQL en SQL Server naar MySQL). DMS gebruikt een replicatie-instantie die de bron leest, gegevens optioneel transformeert en naar het doel schrijft. Je betaalt alleen voor de bedrijfstijd van de replicatie-instantie.

DMS heeft drie belangrijke componenten. Bron-eindpunten definiëren de verbinding met de brondatabase (JDBC-URL, referenties en TLS). Doel-eindpunten definiëren de doeldatabase. De replicatie-instantie is een beheerde server op basis van EC2 die DMS in je VPC beschikbaar stelt om de migratiewerkbelasting uit te voeren. Kies de grootte van de replicatie-instantie op basis van de hoeveelheid gegevens die moet worden gemigreerd en of je multi-AZ wilt gebruiken voor de replicatie-instantie zelf.

DMS ondersteunt twee migratiemodi. Met Full Load kopieer je alle bestaande gegevens van de bron naar het doel — geschikt wanneer downtime acceptabel is of wanneer de bron tijdens de migratie alleen-lezen is. Change Data Capture (CDC) legt voortdurende wijzigingen uit het transactielogboek van de bron vast nadat de volledige lading is voltooid, zodat bron en doel gesynchroniseerd blijven. Een gecombineerde migratie met Full Load + CDC beperkt downtime: migreer de gegevens terwijl de bron actief blijft en schakel vervolgens om wanneer het doel is bijgewerkt.

De AWS Schema Conversion Tool (SCT) is een gratis downloadbare toepassing die het databaseschema van de bron (DDL) automatisch omzet naar een indeling die compatibel is met de database-engine van het doel. De tool verwerkt tabeldefinities, weergaven, opgeslagen procedures, functies en triggers. Bij heterogene migraties (bijvoorbeeld Oracle naar PostgreSQL) zet SCT het merendeel van de objecten automatisch om en markeert het onderdelen die vanwege niet-ondersteunde syntaxisverschillen handmatig moeten worden gecontroleerd.

Bij homogene migraties (dezelfde engine, bijvoorbeeld MySQL on-premises naar RDS for MySQL) is SCT meestal niet nodig — het schema is rechtstreeks compatibel. DMS kan onmiddellijk Full Load + CDC uitvoeren. Bij heterogene migraties (verschillende engines) moet SCT eerst het schema converteren, verwerkt DMS de datamigratie en moet je opgeslagen procedures en triggers zonder equivalent in de doel-engine mogelijk handmatig herschrijven.

DMS ondersteunt een groot aantal bronnen: Oracle, SQL Server, MySQL, MariaDB, PostgreSQL, SAP ASE, MongoDB, IBM Db2 en S3. Ondersteunde doelen zijn alle bovenstaande opties plus Amazon Redshift, DynamoDB, Kinesis Data Streams en Kafka. Daardoor is DMS niet alleen nuttig voor relationele migraties, maar ook voor het streamen van relationele wijzigingsgebeurtenissen naar een datameer of gebeurtenisgestuurde architectuur met CDC naar Kinesis.

DMS gebruikt regels voor tabeltoewijzing (JSON) om te bepalen welke schema's en tabellen worden opgenomen of uitgesloten en om gegevenstransformaties toe te passen. Je kunt schema's of tabellen een nieuwe naam geven, kolomwaarden omzetten (bijvoorbeeld alle tekenreeksen naar hoofdletters), afgeleide kolommen toevoegen of rijen filteren. Dit is nuttig wanneer je migreert naar een doel met andere naamgevingsconventies of wanneer je slechts een deel van de tabellen wilt migreren.

DMS publiceert statistieken naar CloudWatch: FullLoadThroughputRowsSource (het aantal geladen rijen per seconde), CDCLatencySource (de vertraging tussen het transactielogboek van de bron en het uitlezen daarvan door DMS) en CDCLatencyTarget (de vertraging tussen het uitlezen door DMS en het schrijven naar het doel). Houd CDCLatencyTarget tijdens de synchronisatiefase goed in de gaten — wanneer deze waarde bijna nul is, heeft het doel de bron bijgewerkt en ben je klaar om om te schakelen.

DMS Serverless stelt automatisch replicatiecapaciteit beschikbaar en schaalt deze op basis van de migratiewerkbelasting, zodat je geen grootte voor een replicatie-instantie hoeft te kiezen of te beheren. Je geeft minimale en maximale DMS-capaciteitseenheden (DCU's) op en DMS schaalt automatisch binnen dat bereik. Dit is ideaal voor migraties met een variabele belasting of wanneer je het risico wilt vermijden dat de replicatie-instantie tijdens piekbelasting te klein is.

Valideer na de migratie de volledigheid van de gegevens met DMS Data Validation. Schakel dit in bij de taakinstellingen. DMS vergelijkt vervolgens het aantal rijen en controlesommen tussen bron- en doeltabellen en rapporteert afwijkingen in een afzonderlijke validatietabel. Voer bij heterogene migraties ook rooktests op toepassingsniveau uit. Schakel nooit om voordat de validatie geen afwijkingen meer toont — gegevens herstellen na een mislukte omschakeling kost veel meer dan extra tijd nemen voor validatie.

Voor het SAA-C03-examen komt DMS voor in scenario's waarin een database met minimale downtime moet worden gemigreerd. Belangrijke signalen zijn: 'database migreren met voortdurende replicatie' → DMS Full Load + CDC. 'wijziging van database-engine' → eerst SCT en daarna DMS. 'wijzigingen vrijwel in realtime naar een datameer repliceren' → DMS CDC naar Kinesis of S3. 'meerdere brondatabases samenvoegen in één doel' → meerdere DMS-taken naar één doel-eindpunt. DMS is specifiek bedoeld voor databasemigratie — gebruik MGN voor servermigratie en DataSync of Snowball voor bulkgegevensoverdracht.

In deze les heb je geleerd dat DMS zowel homogene als heterogene databasemigraties ondersteunt met de modi Full Load en CDC, dat SCT schemaconversie automatiseert voor migraties waarbij de engine verandert en onderdelen markeert die handmatig moeten worden gecontroleerd en dat DMS Serverless de replicatiecapaciteit automatisch schaalt, zodat je geen beslissingen over de instantiegrootte hoeft te nemen. Hierna bekijken we Amazon EventBridge voor gebeurtenisgestuurde routering en busarchitectuur.