Database Migration Service (DMS) i Schema Conversion Tool

AWS Database Migration Service (DMS) migruje bazy danych do AWS przy minimalnym przestoju. Obsługuje migracje homogeniczne (np. Oracle do Oracle, MySQL do MySQL) oraz heterogeniczne (np. Oracle do Aurora PostgreSQL, SQL Server do MySQL). DMS używa instancji replikacji, która odczytuje dane ze źródła, opcjonalnie je przekształca, a następnie zapisuje w miejscu docelowym. Opłaty są naliczane wyłącznie za czas działania instancji replikacji.

DMS ma trzy kluczowe komponenty. Source Endpoints definiują połączenie z bazą danych źródłową (adres URL JDBC, dane uwierzytelniające, TLS). Target Endpoints definiują docelową bazę danych. Replication Instance to zarządzany serwer oparty na EC2, który DMS udostępnia w Państwa VPC w celu uruchomienia obciążenia migracyjnego. Rozmiar instancji replikacji należy wybrać na podstawie ilości danych do zmigrowania oraz tego, czy sama instancja replikacji ma działać w trybie multi-AZ.

DMS obsługuje dwa tryby migracji. Full Load kopiuje wszystkie istniejące dane ze źródła do miejsca docelowego — jest odpowiedni, gdy można zaakceptować przestój lub gdy źródło jest tylko do odczytu podczas migracji. Change Data Capture (CDC) po zakończeniu pełnego ładowania przechwytuje bieżące zmiany z dziennika transakcji źródła, utrzymując synchronizację źródła i miejsca docelowego. Połączona migracja Full Load + CDC minimalizuje przestój: dane są migrowane, gdy źródło nadal działa, a następnie następuje przełączenie, gdy miejsce docelowe nadąży za źródłem.

AWS Schema Conversion Tool (SCT) to bezpłatna aplikacja do pobrania, która automatycznie konwertuje schemat bazy danych źródłowej (DDL) do formatu zgodnego z docelowym silnikiem bazodanowym. Obsługuje definicje tabel, widoki, procedury składowane, funkcje i wyzwalacze. W przypadku migracji heterogenicznych (np. z Oracle do PostgreSQL) SCT automatycznie konwertuje większość obiektów i oznacza elementy wymagające ręcznego przeglądu z powodu nieobsługiwanych różnic w składni.

W przypadku migracji homogenicznych (ten sam silnik, np. lokalny MySQL do RDS for MySQL) SCT zwykle nie jest potrzebne — schemat jest bezpośrednio zgodny. DMS może od razu uruchomić Full Load + CDC. W przypadku migracji heterogenicznych (różne silniki) SCT musi najpierw przekonwertować schemat, DMS obsługuje migrację danych, a procedury składowane i wyzwalacze, które nie mają odpowiedników w docelowym silniku, mogą wymagać ręcznego przepisania.

DMS obsługuje szeroki zakres źródeł: Oracle, SQL Server, MySQL, MariaDB, PostgreSQL, SAP ASE, MongoDB, IBM Db2 i S3. Obsługiwane miejsca docelowe obejmują wszystkie powyższe usługi, a także Amazon Redshift, DynamoDB, Kinesis Data Streams i Kafka. Dzięki temu DMS jest przydatny nie tylko do migracji relacyjnych, lecz także do przesyłania relacyjnych zdarzeń zmian do jeziora danych lub architektury sterowanej zdarzeniami za pomocą CDC do Kinesis.

DMS używa reguł mapowania tabel (JSON) do określania schematów i tabel, które mają zostać uwzględnione lub wykluczone, oraz do stosowania transformacji danych. Można zmieniać nazwy schematów lub tabel, konwertować wartości kolumn (np. zmienić wszystkie ciągi znaków na wielkie litery), dodawać kolumny pochodne lub filtrować wiersze. Jest to przydatne podczas migracji do miejsca docelowego z innymi konwencjami nazewnictwa albo gdy chcą Państwo zmigrować tylko podzbiór tabel.

DMS publikuje metryki w CloudWatch: FullLoadThroughputRowsSource (liczba ładowanych wierszy na sekundę), CDCLatencySource (opóźnienie między dziennikiem transakcji źródła a jego odczytem przez DMS) oraz CDCLatencyTarget (opóźnienie między odczytem danych przez DMS a ich zapisem w miejscu docelowym). Podczas fazy synchronizacji należy uważnie monitorować CDCLatencyTarget — gdy spadnie niemal do zera, miejsce docelowe nadąża za źródłem i można rozpocząć przełączenie.

DMS Serverless automatycznie udostępnia i skaluje zasoby replikacji na podstawie obciążenia migracją, eliminując konieczność wyboru rozmiaru instancji replikacji i zarządzania nim. Należy określić minimalną i maksymalną liczbę jednostek pojemności DMS (DCU), a DMS automatycznie skaluje zasoby w tym zakresie. Jest to idealne rozwiązanie w przypadku migracji o zmiennym obciążeniu lub gdy chcą Państwo uniknąć ryzyka zbyt małego rozmiaru instancji replikacji podczas szczytowego obciążenia migracją.

Po migracji należy zweryfikować kompletność danych za pomocą funkcji Data Validation w DMS. Należy ją włączyć w ustawieniach zadania, a DMS porówna liczbę wierszy i sumy kontrolne między tabelami źródłowymi i docelowymi, zgłaszając niezgodności w osobnej tabeli walidacyjnej. W przypadku migracji heterogenicznych należy również przeprowadzić testy dymne na poziomie aplikacji. Nie należy wykonywać przełączenia, dopóki walidacja nie wykaże żadnych rozbieżności — uzgadnianie danych po nieudanym przełączeniu jest znacznie bardziej kosztowne niż poświęcenie dodatkowego czasu na walidację.

Na egzaminie SAA-C03 DMS pojawia się w scenariuszach wymagających migracji baz danych przy minimalnym przestoju. Kluczowe sygnały to: 'migrate database with ongoing replication' → DMS Full Load + CDC. 'heterogeneous engine change' → najpierw SCT, a następnie DMS. 'replicate changes in near real time to a data lake' → DMS CDC do Kinesis lub S3. 'consolidate multiple source databases into one target' → wiele zadań DMS do jednego docelowego punktu końcowego. DMS służy konkretnie do migracji baz danych — do migracji serwerów należy użyć MGN, a do masowego transferu danych DataSync lub Snowball.

Proszę sprawdzić swoją wiedzę na temat zagadnień AWS Solutions Architect (SAA-C03) omówionych w tej lekcji.

W tej lekcji nauczyli się Państwo, że: DMS obsługuje homogeniczne i heterogeniczne migracje baz danych za pomocą trybów Full Load i CDC, SCT automatyzuje konwersję schematu w migracjach obejmujących zmianę silnika i oznacza elementy wymagające ręcznego przeglądu, a DMS Serverless automatycznie skaluje zasoby replikacji, eliminując konieczność wyboru rozmiaru instancji. W następnej lekcji omówimy Amazon EventBridge, routing sterowany zdarzeniami i architekturę magistrali zdarzeń.