Database Migration Service (DMS) ve Şema Dönüştürme Aracı

AWS Database Migration Service (DMS), veritabanlarını en az kesintiyle AWS'ye geçirir. Aynı türden geçişleri (ör. Oracle'dan Oracle'a, MySQL'den MySQL'e) ve farklı türden geçişleri (ör. Oracle'dan Aurora PostgreSQL'e, SQL Server'dan MySQL'e) destekler. DMS, kaynaktan okuyan, isteğe bağlı olarak verileri dönüştüren ve hedefe yazan bir çoğaltma bulut sunucusu kullanır. Yalnızca çoğaltma bulut sunucusunun çalışma süresi için ödeme yaparsınız.

DMS'nin üç temel bileşeni vardır. Kaynak Uç Noktaları, kaynak veritabanı bağlantısını (JDBC URL'si, kimlik bilgileri, TLS) tanımlar. Hedef Uç Noktaları, hedef veritabanını tanımlar. Çoğaltma Bulut Sunucusu, geçiş iş yükünü çalıştırmak üzere DMS'nin VPC'nizde oluşturduğu EC2 tabanlı, yönetilen bir sunucudur. Çoğaltılacak veri miktarına ve çoğaltma bulut sunucusunun kendisi için çoklu AZ isteyip istemediğinize göre çoğaltma bulut sunucusunun boyutunu seçin.

DMS iki geçiş modunu destekler. Full Load, mevcut tüm verileri kaynaktan hedefe kopyalar; kesintiyi göze alabildiğiniz veya geçiş sırasında kaynağın salt okunur olduğu durumlar için uygundur. Change Data Capture (CDC), Full Load tamamlandıktan sonra kaynak işlem günlüğündeki devam eden değişiklikleri yakalayarak kaynağı ve hedefi eşitlenmiş durumda tutar. Birleşik Full Load + CDC geçişi kesintiyi en aza indirir: kaynak çalışır durumdayken verileri geçirir, ardından hedef güncel duruma geldiğinde geçiş yaparsınız.

AWS Schema Conversion Tool (SCT), kaynak veritabanı şemasını (DDL) hedef veritabanı altyapısıyla uyumlu bir biçime otomatik olarak dönüştüren, ücretsiz indirilebilir bir uygulamadır. Tablo tanımlarını, görünümleri, saklı yordamları, işlevleri ve tetikleyicileri işler. Farklı türden geçişlerde (ör. Oracle'dan PostgreSQL'e), SCT nesnelerin çoğunu otomatik olarak dönüştürür ve desteklenmeyen söz dizimi farklılıkları nedeniyle el ile incelenmesi gereken öğeleri işaretler.

Aynı türden geçişlerde (aynı altyapı; ör. şirket içindeki MySQL'den RDS for MySQL'e), şema doğrudan uyumlu olduğundan SCT genellikle gerekmez. DMS, Full Load + CDC'yi hemen çalıştırabilir. Farklı türden geçişlerde (farklı altyapılar), SCT önce şemayı dönüştürmeli, DMS veri geçişini gerçekleştirmelidir; ayrıca hedef altyapıda eşdeğeri bulunmayan saklı yordamları ve tetikleyicileri el ile yeniden yazmanız gerekebilir.

DMS çok çeşitli kaynakları destekler: Oracle, SQL Server, MySQL, MariaDB, PostgreSQL, SAP ASE, MongoDB, IBM Db2 ve S3. Desteklenen hedefler, yukarıdakilerin tümüne ek olarak Amazon Redshift, DynamoDB, Kinesis Data Streams ve Kafka içerir. Bu sayede DMS yalnızca ilişkisel geçişler için değil, CDC kullanarak ilişkisel değişiklik olaylarını bir veri gölüne veya olay odaklı mimariye Kinesis üzerinden aktarmak için de kullanılabilir.

DMS, hangi şemaların ve tabloların dahil edileceğini veya hariç tutulacağını denetlemek ve veri dönüşümleri uygulamak için tablo eşleme kurallarını (JSON) kullanır. Şemaları veya tabloları yeniden adlandırabilir, sütun değerlerini dönüştürebilir (ör. tüm dizeleri büyük harfe çevirebilir), türetilmiş sütunlar ekleyebilir veya satırları filtreleyebilirsiniz. Bu özellik, farklı adlandırma kurallarına sahip bir hedefe geçiş yaparken ya da yalnızca tabloların bir alt kümesini geçirmek istediğinizde kullanışlıdır.

DMS ölçümleri CloudWatch'a yayımlar: FullLoadThroughputRowsSource (saniyede yüklenen satır sayısı), CDCLatencySource (kaynak işlem günlüğü ile DMS'nin günlüğü okuması arasındaki gecikme) ve CDCLatencyTarget (DMS'nin okuması ile hedefe yazması arasındaki gecikme). Eşitleme aşamasında CDCLatencyTarget'ı yakından izleyin; değer sıfıra yaklaştığında hedef kaynakla arasındaki farkı kapatmış olur ve geçişe hazırsınız demektir.

DMS Serverless, çoğaltma kapasitesini geçiş iş yüküne göre otomatik olarak oluşturur ve ölçeklendirir; böylece çoğaltma bulut sunucusunun boyutunu seçme ve yönetme gereksinimini ortadan kaldırır. Minimum ve maksimum DMS kapasite birimlerini (DCU) belirtirsiniz; DMS bu aralık içinde otomatik olarak ölçeklenir. Bu özellik, değişken yüke sahip geçişler veya geçiş yükünün en yoğun olduğu sırada çoğaltma bulut sunucusunun yetersiz boyutlandırılması riskinden kaçınmak istediğiniz durumlar için idealdir.

Geçişten sonra DMS Veri Doğrulama özelliğini kullanarak verilerin eksiksizliğini doğrulayın. Bu özelliği görev ayarlarında etkinleştirdiğinizde DMS, kaynak ve hedef tablolar arasındaki satır sayılarını ve sağlama toplamlarını karşılaştırır ve uyuşmazlıkları ayrı bir doğrulama tablosuna bildirir. Farklı türden geçişlerde uygulama düzeyinde temel işlev testleri de çalıştırın. Doğrulama sıfır tutarsızlık gösterene kadar kesinlikle geçiş yapmayın; hatalı bir geçişten sonra verileri uzlaştırmak, doğrulamaya fazladan zaman ayırmaktan çok daha maliyetlidir.

SAA-C03 sınavında DMS, en az kesintiyle veritabanı geçişi gerektiren senaryolarda karşınıza çıkar. Temel ipuçları şunlardır: 'devam eden çoğaltmayla veritabanını geçir' → DMS Full Load + CDC. 'farklı veritabanı altyapısına geçiş' → önce SCT, ardından DMS. 'değişiklikleri gerçeğe yakın zamanlı olarak veri gölüne çoğalt' → Kinesis veya S3'e DMS CDC. 'birden çok kaynak veritabanını tek hedefte birleştir' → tek bir hedef uç noktaya yönelik birden çok DMS görevi. DMS özellikle veritabanı geçişi içindir; sunucu geçişi için MGN'yi, toplu veri aktarımı için DataSync veya Snowball'u kullanın.

Bu derste işlenen AWS Solutions Architect (SAA-C03) kavramlarını anlayıp anlamadığınızı test edin.

Bu derste şunları öğrendiniz: DMS, Full Load ve CDC modlarını kullanarak aynı türden ve farklı türden veritabanı geçişlerini destekler, SCT, altyapı değişikliği gerektiren geçişlerde şema dönüştürmeyi otomatikleştirir ve el ile incelenmesi gereken öğeleri işaretler ve DMS Serverless, çoğaltma kapasitesini otomatik olarak ölçeklendirerek bulut sunucusu boyutunu belirleme gereksinimini ortadan kaldırır. Sırada olay odaklı yönlendirme ve veri yolu mimarisi için Amazon EventBridge'i inceleyeceğiz.