ETL e connettori

L'ETL classico estrae i dati, li trasforma su un server esterno e poi carica il risultato pulito. I data warehouse moderni invertono gli ultimi due passaggi: l'ELT estrae e carica prima i dati raw, poi li trasforma all'interno del data warehouse utilizzando SQL.

L'ELT è vantaggioso perché le risorse di calcolo del data warehouse sono economiche ed elastiche. Può conservare i dati raw per sempre, rielaborarli quando cambia la logica aziendale e non perdere mai dettagli a causa di una pulizia prematura.

Un connettore è il motore EL: esegue l'autenticazione presso l'API di una fonte, recupera i record secondo una pianificazione e li scrive in tabelle del data warehouse che rispecchiano lo schema della fonte. Gestisce la paginazione, i limiti di frequenza, i nuovi tentativi e le modifiche allo schema, così non deve scrivere script fragili.

I connettori gestiti trasformano una settimana di lavoro sull'integrazione delle API in pochi clic per OAuth e per impostare la frequenza di sincronizzazione.

Diverse piattaforme sono specializzate in connettori di marketing preconfigurati. Fivetran e Airbyte sono strumenti EL generici con centinaia di fonti. Funnel, Supermetrics e Adverity si concentrano specificamente sui dati di marketing e pubblicitari.

Il compromesso è il seguente: gli strumenti gestiti hanno un costo, spesso per riga o per fonte attiva, ma fanno risparmiare tempo di sviluppo e si ripristinano automaticamente quando cambiano le API. Per le API pubblicitarie soggette a frequenti variazioni, questa affidabilità vale molto.

La maggior parte delle fonti di marketing utilizza OAuth 2.0: concede al connettore un accesso limitato e revocabile senza condividere una password. Il connettore memorizza un refresh token e rinnova l'accesso in background.

Presti attenzione alla scadenza dei token e agli ambiti delle autorizzazioni. Un errore comune si verifica quando la persona del marketing che ha configurato la connessione lascia l'azienda: l'autorizzazione OAuth viene revocata e tutte le sincronizzazioni successive si interrompono senza segnali evidenti.

Un caricamento completo recupera nuovamente ogni record a ogni sincronizzazione: è semplice, ma su larga scala è costoso e lento. Un caricamento incrementale recupera solo i record modificati dall'ultima sincronizzazione, utilizzando un cursore come il timestamp updated_at.

La maggior parte delle pipeline di produzione utilizza sincronizzazioni incrementali per gestire i volumi e aggiornamenti completi periodici per rilevare eliminazioni e correzioni. Scegliere correttamente il cursore fa la differenza tra dati aggiornati e lacune che passano inosservate.

Le API delle fonti cambiano senza preavviso: una piattaforma rinomina un campo, aggiunge una colonna o modifica un tipo di dato. Questa è la deriva dello schema e può interrompere silenziosamente i modelli e le dashboard a valle.

I connettori affidabili rilevano automaticamente le nuove colonne e le aggiungono, registrano le modifiche ai tipi e inviano avvisi in caso di cambiamenti incompatibili. Tuttavia, il livello di trasformazione dovrebbe essere sottoposto a test, così la deriva emerge come un test fallito e non come un numero errato nella dashboard dell'amministratore delegato.

Quanto devono essere aggiornati i dati di marketing? Un aggiornamento giornaliero è sufficiente per i report sulla spesa; gli aggiornamenti durante la giornata sono importanti per monitorare il ritmo delle campagne attive. Sincronizzazioni più frequenti comportano costi maggiori per il connettore e per il data warehouse.

Adatti la cadenza alla decisione da prendere. Una dashboard per il monitoraggio del budget potrebbe sincronizzarsi ogni ora, mentre un modello di coorte LTV aggiornato mensilmente richiede solo un caricamento notturno. Non paghi per un livello di aggiornamento di cui nessuno si serve.

I connettori dovrebbero scrivere in uno schema raw dedicato, invariato e in sola aggiunta. Non consenta mai ad analisti o strumenti di BI di interrogare direttamente le tabelle raw e non esegua mai trasformazioni sul posto.

La zona raw è la Sua assicurazione: se una trasformazione contiene un errore o cambia la logica aziendale, può ripetere l'elaborazione a partire dai dati raw senza recuperarli nuovamente dalle API. La consideri il sistema di riferimento immutabile.

La pipeline può funzionare anche al contrario. L'ETL inverso sincronizza i dati modellati dal data warehouse agli strumenti operativi: invia a Meta un segmento LTV calcolato per un pubblico simile oppure un punteggio di abbandono a Salesforce.

In questo modo si chiude il cerchio. Il data warehouse smette di essere un vicolo cieco per i report e diventa il cervello che alimenta un targeting e una personalizzazione più efficaci sui canali.

Può scrivere i Suoi estrattori Python per ogni API, mantenendo il pieno controllo e senza costi per riga. In questo caso, però, dovrà occuparsi del rinnovo dell'autenticazione, dei limiti di frequenza, della paginazione, della deriva dello schema e della reperibilità quando un'API cambia alle due di notte.

La maggior parte dei team acquista connettori gestiti per le fonti standard e sviluppa soluzioni personalizzate solo per sistemi di nicchia o proprietari. In genere il tempo degli sviluppatori è più scarso del budget per gli abbonamenti ai connettori.

Un errore silenzioso della pipeline è peggiore di uno evidente, perché le persone continuano a fidarsi di dashboard con dati obsoleti. L'EL in produzione richiede il monitoraggio: avvisi sul successo delle sincronizzazioni, controlli sulla freschezza dei dati e rilevamento delle anomalie nel numero di righe.

Definisca SLA di freschezza, ad esempio la spesa pubblicitaria non deve essere più vecchia di 24 ore, e invii un avviso quando vengono violati. La fiducia nei dati nasce dal sapere quando diventano obsoleti, non dallo scoprirlo durante una riunione.

I connettori sono il motore EL che esegue l'autenticazione presso le fonti, gestisce le sincronizzazioni incrementali e la deriva dello schema e deposita i dati raw in una zona immutabile. Gli strumenti gestiti come Fivetran, Airbyte e Supermetrics scambiano il costo di un abbonamento con una maggiore affidabilità.

Gli stack moderni privilegiano l'ELT, con trasformazioni eseguite all'interno del data warehouse, aggiungono l'ETL inverso per inviare gli insight ai canali e considerano essenziali, non facoltativi, il monitoraggio delle pipeline e gli SLA di freschezza.