Database Migration Service (DMS) и Schema Conversion Tool

AWS Database Migration Service (DMS) переносит базы данных в AWS с минимальным простоем. Он поддерживает однородные миграции (например, Oracle в Oracle или MySQL в MySQL) и неоднородные миграции (например, Oracle в Aurora PostgreSQL или SQL Server в MySQL). DMS использует экземпляр репликации, который считывает данные из источника, при необходимости преобразует их и записывает в целевую систему. Вы платите только за время работы экземпляра репликации.

У DMS есть три основных компонента. Исходные конечные точки определяют подключение к исходной базе данных (URL JDBC, учётные данные, TLS). Целевые конечные точки определяют базу данных назначения. Экземпляр репликации — это управляемый сервер на базе EC2, который DMS размещает в Вашем VPC для выполнения рабочей нагрузки миграции. Выбирайте размер экземпляра репликации с учётом объёма переносимых данных и необходимости MultiAZ для самого экземпляра репликации.

DMS поддерживает два режима миграции. Full Load копирует все существующие данные из источника в целевую систему — это подходит, когда допустим простой или источник доступен только для чтения во время миграции. Change Data Capture (CDC) после завершения полной загрузки отслеживает текущие изменения в журнале транзакций источника, поддерживая синхронизацию источника и целевой системы. Комбинированная миграция Full Load + CDC сводит простой к минимуму: данные переносятся, пока источник продолжает работать, а переключение выполняется после синхронизации целевой системы.

AWS Schema Conversion Tool (SCT) — бесплатное загружаемое приложение, которое автоматически преобразует схему исходной базы данных (DDL) в формат, совместимый с целевым механизмом базы данных. Оно обрабатывает определения таблиц, представления, хранимые процедуры, функции и триггеры. При неоднородных миграциях (например, из Oracle в PostgreSQL) SCT автоматически преобразует большинство объектов и отмечает элементы, требующие ручной проверки из-за различий в неподдерживаемом синтаксисе.

Для однородных миграций (один и тот же механизм, например MySQL в локальной среде в RDS for MySQL) SCT обычно не требуется — схема напрямую совместима. DMS может сразу выполнить Full Load + CDC. При неоднородных миграциях (разные механизмы) сначала необходимо преобразовать схему с помощью SCT, затем DMS переносит данные, а хранимые процедуры и триггеры, для которых нет эквивалента в целевом механизме, возможно, придётся переписать вручную.

DMS поддерживает широкий набор источников: Oracle, SQL Server, MySQL, MariaDB, PostgreSQL, SAP ASE, MongoDB, IBM Db2 и S3. Среди поддерживаемых целевых систем — все перечисленные выше, а также Amazon Redshift, DynamoDB, Kinesis Data Streams и Kafka. Поэтому DMS подходит не только для миграции реляционных баз данных, но и для передачи событий изменений из реляционной базы в потоковом режиме в озеро данных или событийно-ориентированную архитектуру с использованием CDC и Kinesis.

DMS использует правила сопоставления таблиц (JSON), чтобы определять, какие схемы и таблицы включать или исключать, а также применять преобразования данных. Можно переименовывать схемы или таблицы, преобразовывать значения столбцов (например, переводить все строки в верхний регистр), добавлять вычисляемые столбцы или фильтровать строки. Это полезно при переносе в целевую систему с другими соглашениями об именовании или при необходимости перенести только часть таблиц.

DMS публикует метрики в CloudWatch: FullLoadThroughputRowsSource (число загруженных строк в секунду), CDCLatencySource (задержка между журналом транзакций источника и его чтением DMS) и CDCLatencyTarget (задержка между чтением DMS и записью в целевую систему). Внимательно отслеживайте CDCLatencyTarget на этапе синхронизации: когда значение приближается к нулю, целевая система догнала источник и можно выполнять переключение.

DMS Serverless автоматически выделяет и масштабирует ёмкость репликации в зависимости от рабочей нагрузки миграции, устраняя необходимость выбирать и управлять размером экземпляра репликации. Вы указываете минимальное и максимальное число единиц ёмкости DMS (DCU), а DMS автоматически масштабируется в этих пределах. Это особенно удобно для миграций с переменной нагрузкой или когда необходимо избежать недостаточного размера экземпляра репликации в период пиковой нагрузки.

После миграции проверьте полноту данных с помощью проверки данных DMS. Включите её в настройках задачи, и DMS сравнит количество строк и контрольные суммы таблиц источника и целевой системы, сообщив о несоответствиях в отдельной таблице проверки. При неоднородных миграциях также выполните базовые проверки на уровне приложения. Не выполняйте переключение, пока проверка не покажет отсутствие расхождений: исправление данных после неудачного переключения обходится гораздо дороже, чем дополнительные затраты времени на проверку.

На экзамене SAA-C03 DMS встречается в сценариях, требующих миграции базы данных с минимальным простоем. Ключевые признаки: «перенести базу данных с текущей репликацией» → DMS Full Load + CDC. «изменить механизм базы данных» → сначала SCT, затем DMS. «реплицировать изменения почти в реальном времени в озеро данных» → DMS CDC в Kinesis или S3. «объединить несколько исходных баз данных в одну целевую» → несколько задач DMS для одной целевой конечной точки. DMS предназначен именно для миграции баз данных; для миграции серверов используйте MGN, а для массовой передачи данных — DataSync или Snowball.

Проверьте своё понимание концепций AWS Solutions Architect (SAA-C03), рассмотренных в этом уроке.

В этом уроке Вы узнали, что DMS поддерживает однородную и неоднородную миграцию баз данных с использованием режимов Full Load и CDC, SCT автоматизирует преобразование схемы при смене механизма и отмечает элементы для ручной проверки, а DMS Serverless автоматически масштабирует ёмкость репликации, устраняя необходимость выбирать размер экземпляра. Далее мы рассмотрим Amazon EventBridge для маршрутизации событий и архитектуры на основе шин.