ETL dan Konektor

ETL klasik mengekstrak data, mentransformasikannya di server eksternal, lalu memuat hasil yang sudah bersih. Gudang data modern membalik dua langkah terakhir: ELT mengekstrak dan memuat data mentah terlebih dahulu, lalu mentransformasikannya di dalam gudang data menggunakan SQL.

ELT unggul karena komputasi gudang data murah dan elastis. Anda dapat menyimpan data mentah selamanya, melakukan transformasi ulang ketika logika bisnis berubah, dan tidak pernah kehilangan detail akibat langkah pembersihan yang dilakukan terlalu dini.

Konektor adalah mesin EL: konektor melakukan autentikasi ke API sumber, mengambil rekaman sesuai jadwal, lalu menulisnya ke tabel gudang data yang mengikuti skema sumber. Konektor menangani paginasi, batas laju, percobaan ulang, dan perubahan skema sehingga Anda tidak perlu menulis skrip yang rapuh.

Konektor terkelola mengubah pekerjaan integrasi API selama seminggu menjadi beberapa klik OAuth dan pengaturan frekuensi sinkronisasi.

Beberapa platform mengkhususkan diri pada konektor pemasaran yang telah dibuat sebelumnya. Fivetran dan Airbyte adalah alat EL umum dengan ratusan sumber. Funnel, Supermetrics, dan Adverity berfokus khusus pada data pemasaran dan iklan.

Komprominya adalah alat terkelola memerlukan biaya, sering kali berdasarkan jumlah baris atau sumber aktif, tetapi menghemat waktu teknis dan dapat pulih otomatis ketika API berubah. Untuk API iklan yang sering berubah, keandalan tersebut sangat berharga.

Sebagian besar sumber pemasaran menggunakan autentikasi OAuth 2.0: Anda memberikan akses dengan cakupan terbatas dan dapat dicabut kepada konektor tanpa membagikan kata sandi. Konektor menyimpan token penyegaran dan memperbarui akses secara diam-diam.

Perhatikan kedaluwarsa token dan cakupan izin. Kegagalan yang umum terjadi adalah ketika pemasar yang menyiapkan koneksi meninggalkan perusahaan, mencabut pemberian OAuth, lalu tanpa disadari memutus setiap sinkronisasi setelahnya.

Pemuatan penuh mengambil ulang setiap rekaman pada setiap sinkronisasi; cara ini sederhana, tetapi mahal dan lambat dalam skala besar. Pemuatan inkremental hanya mengambil rekaman yang berubah sejak sinkronisasi terakhir, menggunakan kursor seperti stempel waktu pembaruan.

Sebagian besar aliran data produksi menggunakan sinkronisasi inkremental untuk menangani volume data, serta penyegaran penuh secara berkala untuk menangkap penghapusan dan koreksi. Memilih kursor dengan tepat menentukan apakah data tetap mutakhir atau memiliki celah yang tidak terlihat.

API sumber dapat berubah tanpa peringatan: sebuah platform dapat mengganti nama bidang, menambahkan kolom, atau mengubah tipe data. Inilah yang disebut pergeseran skema, dan hal ini dapat diam-diam merusak model serta dasbor setelahnya.

Konektor yang baik mendeteksi kolom baru secara otomatis dan menambahkannya, mencatat perubahan tipe, serta memberi peringatan tentang perubahan yang menyebabkan kerusakan. Meski demikian, lapisan transformasi Anda tetap harus diuji agar pergeseran muncul sebagai pengujian yang gagal, bukan sebagai angka yang salah di dasbor CEO.

Seberapa mutakhir data pemasaran harus tersedia? Data harian cukup untuk pelaporan belanja; data intrahari penting untuk mengatur laju kampanye aktif. Sinkronisasi yang lebih sering berarti biaya konektor dan gudang data yang lebih tinggi.

Sesuaikan frekuensi dengan keputusan yang perlu diambil. Dasbor pengaturan laju anggaran mungkin disinkronkan setiap jam, sedangkan model kohort LTV yang diperbarui setiap bulan hanya memerlukan pemuatan setiap malam. Jangan membayar kemutakhiran yang tidak pernah digunakan untuk mengambil tindakan.

Konektor harus menulis data ke skema mentah khusus yang tidak diubah dan hanya dapat ditambahi. Jangan pernah mengizinkan analis atau alat BI membuat kueri langsung ke tabel mentah, dan jangan pernah melakukan transformasi di tempat.

Zona mentah adalah perlindungan Anda: jika transformasi memiliki kesalahan atau logika bisnis berubah, Anda dapat menjalankannya ulang dari data mentah tanpa mengambil ulang data dari API. Perlakukan zona ini sebagai sistem pencatatan yang tidak dapat diubah.

Aliran data juga dapat berjalan sebaliknya. Reverse ETL menyinkronkan data yang telah dimodelkan dari gudang data kembali ke alat operasional: mengirim segmen LTV yang telah dihitung ke Meta untuk audiens serupa, atau mengirim skor pelanggan yang berisiko berhenti ke Salesforce.

Dengan demikian, seluruh siklus menjadi lengkap. Gudang data tidak lagi menjadi jalan buntu untuk pelaporan, tetapi menjadi otak yang mengirimkan penargetan dan personalisasi yang lebih cerdas kembali ke berbagai kanal.

Anda dapat menulis ekstraktor Python sendiri untuk setiap API, dengan kendali penuh dan tanpa biaya per baris. Namun, Anda juga harus bertanggung jawab atas penyegaran autentikasi, batas laju, paginasi, pergeseran skema, dan tugas siaga ketika API berubah pada pukul 2 dini hari.

Sebagian besar tim membeli konektor terkelola untuk sumber standar dan hanya membangun konektor khusus untuk sistem khusus atau milik sendiri. Waktu tim teknis biasanya lebih langka daripada anggaran langganan konektor.

Kegagalan aliran data yang tidak terlihat lebih buruk daripada kegagalan yang jelas, karena orang-orang terus mempercayai dasbor yang datanya sudah usang. EL produksi memerlukan pemantauan: peringatan keberhasilan sinkronisasi, pemeriksaan kemutakhiran, dan deteksi anomali jumlah baris.

Tetapkan SLA kemutakhiran, misalnya data belanja iklan tidak boleh lebih lama dari 24 jam, lalu berikan peringatan ketika batas tersebut terlampaui. Kepercayaan terhadap data dibangun dengan mengetahui saat data mulai usang, bukan dengan menemukannya dalam rapat.

Konektor adalah mesin EL yang melakukan autentikasi ke sumber, menangani sinkronisasi inkremental dan pergeseran skema, serta menempatkan data mentah di zona yang tidak dapat diubah. Alat terkelola seperti Fivetran, Airbyte, dan Supermetrics menukar biaya langganan dengan keandalan.

Tumpukan modern mengutamakan ELT, melakukan transformasi di dalam gudang data, menambahkan reverse ETL untuk mengirimkan wawasan kembali ke berbagai kanal, serta menganggap pemantauan aliran data dan SLA kemutakhiran sebagai hal yang penting, bukan opsional.