ETL i konektory

Klasyczny ETL pobiera dane, przekształca je na zewnętrznym serwerze, a następnie ładuje oczyszczony wynik. Nowoczesne hurtownie danych odwracają dwa ostatnie kroki: ELT najpierw pobiera i ładuje surowe dane, a następnie przekształca je wewnątrz hurtowni za pomocą SQL.

ELT wygrywa, ponieważ moc obliczeniowa hurtowni jest tania i elastyczna. Można przechowywać surowe dane bezterminowo, ponownie je przekształcać po zmianie logiki biznesowej i nigdy nie tracić szczegółów wskutek przedwczesnego czyszczenia danych.

Konektor jest silnikiem EL: uwierzytelnia się za pomocą API źródła, pobiera rekordy zgodnie z harmonogramem i zapisuje je w tabelach hurtowni danych odpowiadających schematowi źródła. Obsługuje stronicowanie, limity zapytań, ponowienia prób oraz zmiany schematu, dzięki czemu nie muszą Państwo pisać podatnych na awarie skryptów.

Zarządzane konektory zamieniają tydzień pracy nad integracją z API na kilka kliknięć związanych z OAuth i ustawieniem częstotliwości synchronizacji.

Wiele platform specjalizuje się w gotowych konektorach marketingowych. Fivetran i Airbyte to ogólne narzędzia EL obsługujące setki źródeł. Funnel, Supermetrics i Adverity koncentrują się konkretnie na danych marketingowych i reklamowych.

Kompromis wygląda następująco: zarządzane narzędzia kosztują (często opłata zależy od liczby wierszy lub aktywnych źródeł), ale oszczędzają czas programistów i samoczynnie przywracają działanie po zmianach w API. W przypadku niestabilnych API platform reklamowych ta niezawodność jest bardzo cenna.

Większość źródeł marketingowych uwierzytelnia się za pomocą OAuth 2.0: przyznają Państwo konektorowi ograniczony zakresem i możliwy do odwołania dostęp, nie udostępniając hasła. Konektor przechowuje token odświeżający i bezgłośnie odnawia dostęp.

Należy kontrolować wygasanie tokenów i zakresy uprawnień. Częstym problemem jest odejście z firmy osoby z działu marketingu, która skonfigurowała połączenie. Odwołanie przez nią dostępu OAuth po cichu przerywa każdą kolejną synchronizację.

Pełne ładowanie ponownie pobiera każdy rekord przy każdej synchronizacji — jest proste, ale przy dużej skali kosztowne i powolne. Ładowanie przyrostowe pobiera tylko rekordy zmienione od ostatniej synchronizacji, korzystając ze wskaźnika, takiego jak znacznik czasu updated_at.

W większości potoków produkcyjnych stosuje się synchronizacje przyrostowe ze względu na dużą liczbę danych oraz okresowe pełne odświeżenia, aby wykrywać usunięcia i korekty. Właściwy wybór wskaźnika decyduje o tym, czy dane będą aktualne, czy też pojawią się w nich niezauważone luki.

Źródłowe API zmieniają się bez ostrzeżenia: platforma zmienia nazwę pola, dodaje kolumnę lub modyfikuje typ danych. To właśnie dryf schematu, który po cichu psuje modele i pulpity zależne od tych danych.

Dobre konektory automatycznie wykrywają nowe kolumny i je dodają, rejestrują zmiany typów oraz ostrzegają o zmianach powodujących niezgodność. Mimo to warstwa transformacji powinna być testowana, aby dryf ujawniał się jako nieudany test, a nie jako nieprawidłowa liczba na pulpicie dyrektora generalnego.

Jak aktualne muszą być dane marketingowe? Codzienna aktualizacja wystarcza do raportowania wydatków, natomiast aktualizacje w ciągu dnia mają znaczenie przy monitorowaniu tempa bieżących kampanii. Częstsze synchronizacje oznaczają wyższe koszty konektora i hurtowni danych.

Należy dopasować częstotliwość do podejmowanych decyzji. Pulpit do monitorowania tempa wydawania budżetu może być synchronizowany co godzinę, podczas gdy aktualizowany co miesiąc model kohortowy LTV potrzebuje jedynie nocnego ładowania. Nie należy płacić za aktualność, na podstawie której nikt nie podejmuje działań.

Konektory powinny zapisywać dane w przeznaczonym do tego surowym schemacie, bez modyfikacji i wyłącznie w trybie dopisywania. Analitycy ani narzędzia BI nie powinny nigdy odpytywać tabel surowych bezpośrednio. Nie należy również przekształcać danych w miejscu.

Surowa strefa jest formą zabezpieczenia: jeśli transformacja zawiera błąd lub zmieni się logika biznesowa, można ponownie przetworzyć dane surowe bez ponownego pobierania ich z API. Należy traktować ją jako niezmienny system ewidencji.

Potok może działać również w drugą stronę. Reverse ETL synchronizuje zamodelowane dane z hurtowni danych z powrotem do narzędzi operacyjnych: przesyła obliczony segment LTV do Meta w celu utworzenia grupy odbiorców podobnych lub wynik predykcji odejścia klienta do Salesforce.

W ten sposób pętla zostaje zamknięta. Hurtownia danych przestaje być ślepym zaułkiem raportowania i staje się centrum decyzyjnym, które zasila kanały lepszym targetowaniem i personalizacją.

Mogą Państwo napisać własne ekstraktory w Pythonie dla każdego API, zyskując pełną kontrolę i unikając opłat za wiersze. Wtedy jednak biorą Państwo na siebie odświeżanie uwierzytelnienia, limity zapytań, stronicowanie, dryf schematu oraz dyżury na wypadek zmiany API o drugiej w nocy.

Większość zespołów kupuje zarządzane konektory dla standardowych źródeł, a rozwiązania własne tworzy tylko dla niszowych lub zastrzeżonych systemów. Czas inżynierów jest zwykle bardziej ograniczonym zasobem niż budżet na subskrypcje konektorów.

Cicha awaria potoku jest gorsza od głośnej, ponieważ użytkownicy nadal ufają nieaktualnym pulpitom. Produkcyjny EL wymaga monitorowania: alertów o powodzeniu synchronizacji, kontroli aktualności oraz wykrywania anomalii w liczbie wierszy.

Należy ustawić umowy SLA dotyczące aktualności, na przykład wymóg, aby dane o wydatkach reklamowych nie były starsze niż 24 godziny, i wysyłać alert po jego naruszeniu. Zaufanie do danych buduje się dzięki wiedzy o chwili, w której tracą aktualność, a nie dzięki odkrywaniu tego podczas spotkania.

Moc obliczeniowa Państwa hurtowni danych jest tania i elastyczna, a Państwo chcą zachować pełne szczegóły źródłowe, aby móc ponownie modelować dane po zmianie logiki biznesowej. Jaki wzorzec ładowania będzie odpowiedni i gdzie powinny odbywać się transformacje?

Konektory są silnikiem EL, który uwierzytelnia się w źródłach, obsługuje synchronizacje przyrostowe i dryf schematu oraz umieszcza surowe dane w niezmiennej strefie. Zarządzane narzędzia, takie jak Fivetran, Airbyte i Supermetrics, zamieniają koszt subskrypcji na niezawodność.

Nowoczesne stosy danych preferują ELT, czyli transformacje wewnątrz hurtowni danych, wykorzystują reverse ETL do przesyłania analiz z powrotem do kanałów oraz traktują monitorowanie potoków i umowy SLA dotyczące aktualności jako elementy niezbędne, a nie opcjonalne.