Database Migration Service (DMS) et Schema Conversion Tool

AWS Database Migration Service (DMS) migre les bases de données vers AWS avec un temps d’arrêt minimal. Il prend en charge les migrations homogènes (par exemple, Oracle vers Oracle ou MySQL vers MySQL) et hétérogènes (par exemple, Oracle vers Aurora PostgreSQL ou SQL Server vers MySQL). DMS utilise une instance Replication qui lit les données de la source, les transforme éventuellement, puis les écrit dans la cible. Vous payez uniquement la durée d’exécution de l’instance Replication.

DMS comporte trois composants essentiels. Les points de terminaison source définissent la connexion à la base de données source (URL JDBC, identifiants, TLS). Les points de terminaison cible définissent la base de données de destination. L’instance Replication est un serveur géré basé sur EC2 que DMS provisionne dans votre VPC pour exécuter la charge de migration. Choisissez la taille de l’instance Replication en fonction du volume de données à migrer et de votre souhait d’utiliser MultiAZ pour l’instance Replication elle-même.

DMS prend en charge deux modes de migration. Full Load copie toutes les données existantes de la source vers la cible — ce qui convient lorsque vous pouvez vous permettre un temps d’arrêt ou lorsque la source est en lecture seule pendant la migration. Change Data Capture (CDC) capture les modifications continues à partir du journal des transactions de la source une fois le chargement complet terminé, afin de maintenir la source et la cible synchronisées. Une migration combinant Full Load + CDC réduit le temps d’arrêt au minimum : migrez les données tandis que la source reste active, puis effectuez le basculement lorsque la cible est à jour.

L’AWS Schema Conversion Tool (SCT) est une application gratuite téléchargeable qui convertit automatiquement le schéma de la base de données source (DDL) dans un format compatible avec le moteur de base de données cible. Elle prend en charge les définitions de tables, les vues, les procédures stockées, les fonctions et les déclencheurs. Pour les migrations hétérogènes (par exemple, Oracle vers PostgreSQL), SCT convertit automatiquement la majorité des objets et signale ceux qui nécessitent une revue manuelle en raison de différences de syntaxe non prises en charge.

Pour les migrations homogènes (même moteur, par exemple MySQL sur site vers RDS for MySQL), SCT n’est généralement pas nécessaire : le schéma est directement compatible. DMS peut immédiatement exécuter Full Load + CDC. Pour les migrations hétérogènes (moteurs différents), SCT doit d’abord convertir le schéma, DMS prend en charge la migration des données et vous devrez peut-être réécrire manuellement les procédures stockées et les déclencheurs qui n’ont aucun équivalent dans le moteur cible.

DMS prend en charge un large éventail de sources : Oracle, SQL Server, MySQL, MariaDB, PostgreSQL, SAP ASE, MongoDB, IBM Db2 et S3. Les cibles prises en charge comprennent toutes celles citées précédemment, ainsi que Amazon Redshift, DynamoDB, Kinesis Data Streams et Kafka. DMS est donc utile non seulement pour les migrations relationnelles, mais aussi pour diffuser des événements de modification relationnels vers un lac de données ou une architecture orientée événements à l’aide de CDC vers Kinesis.

DMS utilise des règles de mappage des tables (JSON) pour contrôler les schémas et les tables à inclure ou à exclure, ainsi que pour appliquer des transformations aux données. Vous pouvez renommer des schémas ou des tables, convertir les valeurs des colonnes (par exemple, mettre toutes les chaînes en majuscules), ajouter des colonnes calculées ou filtrer les lignes. Cela est utile lors d’une migration vers une cible appliquant des conventions de nommage différentes ou lorsque vous souhaitez migrer uniquement un sous-ensemble de tables.

DMS publie des métriques dans CloudWatch : FullLoadThroughputRowsSource (nombre de lignes chargées par seconde), CDCLatencySource (retard entre le journal des transactions source et sa lecture par DMS) et CDCLatencyTarget (retard entre la lecture par DMS et l’écriture dans la cible). Surveillez attentivement CDCLatencyTarget pendant la phase de synchronisation : lorsqu’elle devient presque nulle, la cible a rattrapé la source et vous pouvez effectuer le basculement.

DMS Serverless provisionne et ajuste automatiquement la capacité Replication en fonction de la charge de migration, ce qui élimine la nécessité de choisir et de gérer la taille d’une instance Replication. Vous indiquez les unités de capacité DMS minimales et maximales (DCU), puis DMS ajuste automatiquement la capacité dans cette plage. Cette solution est idéale pour les migrations dont la charge varie ou lorsque vous souhaitez éviter le risque de sous-dimensionner l’instance Replication pendant les pics de charge.

Après la migration, validez l’exhaustivité des données à l’aide de la validation des données DMS. Activez-la dans les paramètres de la tâche ; DMS compare alors le nombre de lignes et les sommes de contrôle entre les tables source et cible, puis signale les différences dans une table de validation distincte. Pour les migrations hétérogènes, exécutez également des tests rapides au niveau de l’application. N’effectuez jamais le basculement avant que la validation n’indique aucune différence : corriger les données après un basculement défectueux coûte beaucoup plus cher que prendre le temps nécessaire à la validation.

Dans l’examen SAA-C03, DMS intervient dans les scénarios nécessitant une migration de bases de données avec un temps d’arrêt minimal. Signaux caractéristiques : « migrer une base de données avec une réplication continue » → DMS Full Load + CDC. « changer de moteur hétérogène » → SCT d’abord, puis DMS. « répliquer les modifications presque en temps réel vers un lac de données » → CDC de DMS vers Kinesis ou S3. « consolider plusieurs bases de données source dans une seule cible » → plusieurs tâches DMS vers un même point de terminaison cible. DMS est spécifiquement destiné à la migration de bases de données — pour migrer des serveurs, utilisez MGN ; pour transférer des données en masse, utilisez DataSync ou Snowball.

Testez votre compréhension des concepts AWS Solutions Architect (SAA-C03) abordés dans cette leçon.

Dans cette leçon, vous avez appris que DMS prend en charge les migrations de bases de données homogènes et hétérogènes à l’aide des modes Full Load et CDC, que SCT automatise la conversion des schémas lors des migrations avec changement de moteur et signale les éléments nécessitant une revue manuelle et que DMS Serverless ajuste automatiquement la capacité Replication, éliminant les décisions liées au dimensionnement de l’instance. Nous allons maintenant découvrir Amazon EventBridge pour le routage orienté événements et l’architecture de bus.