Database Migration Service (DMS) og Schema Conversion Tool

AWS Database Migration Service (DMS) migrerer databaser til AWS med minimal nedetid. Den støtter homogene migreringer (for eksempel Oracle til Oracle, MySQL til MySQL) og heterogene migreringer (for eksempel Oracle til Aurora PostgreSQL, SQL Server til MySQL). DMS bruker en replikasjonsinstans som leser fra kilden, eventuelt transformerer dataene og skriver til målet. De betaler bare for kjøretiden til replikasjonsinstansen.

DMS har tre nøkkelkomponenter. Source Endpoints definerer tilkoblingen til kildedatabasen (JDBC-URL, legitimasjon, TLS). Target Endpoints definerer måldatabasen. Replication Instance er en EC2-basert, administrert server som DMS klargjør i VPC-en Deres for å kjøre migreringsbelastningen. Velg størrelse på replikasjonsinstansen basert på hvor mye data som skal migreres, og om De ønsker multi-AZ for selve replikasjonsinstansen.

DMS støtter to migreringsmoduser. Full Load kopierer alle eksisterende data fra kilde til mål – egnet når De kan akseptere nedetid, eller når kilden er skrivebeskyttet under migreringen. Change Data Capture (CDC) fanger opp løpende endringer fra kildens transaksjonslogg etter at full last er fullført, slik at kilde og mål holdes synkronisert. En kombinert migrering med Full Load + CDC minimerer nedetiden: migrer data mens kilden er aktiv, og gjennomfør deretter overgangen når målet er à jour.

AWS Schema Conversion Tool (SCT) er en gratis applikasjon som kan lastes ned, og som automatisk konverterer kildedatabasens skjema (DDL) til et format som er kompatibelt med måldatabasemotoren. Den håndterer tabelldefinisjoner, visninger, lagrede prosedyrer, funksjoner og utløsere. Ved heterogene migreringer (for eksempel Oracle til PostgreSQL) konverterer SCT de fleste objektene automatisk og markerer elementer som krever manuell gjennomgang på grunn av forskjeller i syntaks som ikke støttes.

Ved homogene migreringer (samme motor, for eksempel MySQL lokalt til RDS for MySQL) er SCT vanligvis ikke nødvendig – skjemaet er direkte kompatibelt. DMS kan kjøre Full Load + CDC umiddelbart. Ved heterogene migreringer (ulike motorer) må SCT konvertere skjemaet først. DMS håndterer datamigreringen, og De må kanskje skrive om lagrede prosedyrer og utløsere manuelt dersom de ikke har noen tilsvarende funksjon i målmotoren.

DMS støtter et bredt utvalg av kilder: Oracle, SQL Server, MySQL, MariaDB, PostgreSQL, SAP ASE, MongoDB, IBM Db2 og S3. Støttede mål omfatter alle de ovennevnte samt Amazon Redshift, DynamoDB, Kinesis Data Streams og Kafka. Dette gjør DMS nyttig ikke bare for relasjonelle migreringer, men også for strømming av relasjonelle endringshendelser til en datasjø eller en hendelsesdrevet arkitektur ved hjelp av CDC til Kinesis.

DMS bruker table mapping rules (JSON) til å styre hvilke skjemaer og tabeller som skal inkluderes eller utelates, og til å bruke datatransformasjoner. De kan gi skjemaer eller tabeller nye navn, konvertere kolonneverdier (for eksempel gjøre alle strenger til store bokstaver), legge til avledede kolonner eller filtrere rader. Dette er nyttig ved migrering til et mål med andre navnekonvensjoner, eller når De bare vil migrere et delsett av tabellene.

DMS publiserer metrikkdata til CloudWatch: FullLoadThroughputRowsSource (antall innlastede rader per sekund), CDCLatencySource (forsinkelsen mellom kildens transaksjonslogg og DMS-lesingen) og CDCLatencyTarget (forsinkelsen mellom DMS-lesingen og skrivingen til målet). Følg nøye med på CDCLatencyTarget under synkroniseringsfasen – når den nærmer seg null, er målet à jour med kilden, og De er klare for overgang.

DMS Serverless klargjør og skalerer replikasjonskapasiteten automatisk basert på migreringsbelastningen, slik at De slipper å velge og administrere størrelsen på en replikasjonsinstans. De angir minimum og maksimum for DMS-kapasitetsenheter (DCU), og DMS skalerer automatisk innenfor dette området. Dette er ideelt for migreringer med varierende belastning, eller når De vil unngå risikoen for at replikasjonsinstansen er underdimensjonert under perioder med høy migreringsbelastning.

Valider at alle data er med etter migreringen, ved hjelp av DMS Data Validation. Aktiver funksjonen i oppgaveinnstillingene, så sammenligner DMS radantall og kontrollsummer mellom kilde- og måltabellene og rapporterer avvik til en separat valideringstabell. Ved heterogene migreringer bør De også kjøre smoke-tester på applikasjonsnivå. Gjennomfør aldri overgangen før valideringen viser null avvik – det er langt mer kostbart å avstemme data etter en mislykket overgang enn å bruke ekstra tid på validering.

I SAA-C03-eksamen forekommer DMS i scenarioer som krever databasemigrering med minimal nedetid. Viktige signaler er: «migrer en database med løpende replikering» → DMS Full Load + CDC. «bytte databasemotor» → SCT først, deretter DMS. «repliker endringer til en datasjø i tilnærmet sanntid» → DMS CDC til Kinesis eller S3. «konsolider flere kildedatabaser i ett mål» → flere DMS-oppgaver til ett målendepunkt. DMS er spesifikt beregnet på databasemigrering – bruk MGN til servermigrering og DataSync eller Snowball til storskala dataoverføring.

I denne leksjonen har De lært at DMS støtter både homogene og heterogene databasemigreringer ved hjelp av modusene Full Load og CDC, at SCT automatiserer skjemakonvertering ved migreringer som bytter motor, og markerer elementer som må gjennomgås manuelt, og at DMS Serverless skalerer replikasjonskapasiteten automatisk, slik at De slipper å bestemme instansstørrelsen. Deretter skal vi se nærmere på Amazon EventBridge for hendelsesdrevet ruting og bussarkitektur.