ETL et connecteurs

L'ETL classique extrait les données, les transforme sur un serveur externe, puis charge le résultat nettoyé. Les entrepôts modernes inversent les deux dernières étapes : l'ELT extrait et charge d'abord les données brutes, puis les transforme au sein de l'entrepôt à l'aide de SQL.

L'ELT l'emporte parce que le calcul de l'entrepôt est peu coûteux et élastique. Vous conservez les données brutes indéfiniment, pouvez les transformer à nouveau lorsque la logique métier évolue et ne perdez jamais de détails à cause d'un nettoyage prématuré.

Un connecteur est le moteur EL : il s'authentifie auprès de l'API d'une source, récupère les enregistrements selon une planification et les écrit dans des tables d'entrepôt conformes au schéma de la source. Il gère la pagination, les limites de débit, les nouvelles tentatives et les changements de schéma afin que vous n'ayez pas à écrire de scripts fragiles.

Les connecteurs gérés transforment une semaine de plomberie d'API en quelques clics pour configurer OAuth et définir une fréquence de synchronisation.

Plusieurs plateformes sont spécialisées dans les connecteurs marketing préconfigurés. Fivetran et Airbyte sont des outils EL généralistes qui prennent en charge des centaines de sources. Funnel, Supermetrics et Adverity se concentrent spécifiquement sur les données marketing et publicitaires.

Le compromis est le suivant : les outils gérés coûtent de l'argent, souvent selon le nombre de lignes ou de sources actives, mais ils économisent du temps d'ingénierie et se réparent automatiquement lorsque les API évoluent. Pour les API publicitaires instables, cette fiabilité vaut beaucoup.

La plupart des sources marketing s'authentifient avec OAuth 2.0 : vous accordez au connecteur un accès limité au périmètre nécessaire et révocable, sans communiquer de mot de passe. Le connecteur conserve un jeton d'actualisation et renouvelle discrètement l'accès.

Surveillez l'expiration des jetons et les périmètres d'autorisation. Une panne fréquente survient lorsqu'un responsable marketing qui avait configuré la connexion quitte l'entreprise, révoque l'autorisation OAuth et interrompt discrètement toutes les synchronisations en aval.

Un chargement complet récupère à nouveau chaque enregistrement à chaque synchronisation : c'est simple, mais coûteux et lent à grande échelle. Un chargement incrémentiel ne récupère que les enregistrements modifiés depuis la dernière synchronisation, à l'aide d'un curseur tel qu'un horodatage updated_at.

La plupart des chaînes de traitement en production utilisent des synchronisations incrémentielles pour gérer le volume et des actualisations complètes périodiques pour détecter les suppressions et les corrections. Choisir le bon curseur fait la différence entre des données à jour et des lacunes silencieuses.

Les API sources évoluent sans avertissement : une plateforme renomme un champ, ajoute une colonne ou modifie un type de données. C'est la dérive du schéma, qui interrompt silencieusement les modèles et tableaux de bord en aval.

Les bons connecteurs détectent automatiquement les nouvelles colonnes et les ajoutent, consignent les changements de type et signalent les changements incompatibles. Votre couche de transformation doit malgré tout faire l'objet de vérifications afin que la dérive se manifeste par une vérification en échec, et non par un mauvais chiffre sur le tableau de bord du CEO.

À quel point les données marketing doivent-elles être fraîches ? Une mise à jour quotidienne suffit pour les rapports de dépenses ; plusieurs mises à jour par jour sont importantes pour piloter le rythme des campagnes en cours. Des synchronisations plus fréquentes entraînent des coûts plus élevés pour le connecteur et l'entrepôt.

Adaptez la fréquence à la décision à prendre. Un tableau de bord de pilotage budgétaire peut se synchroniser toutes les heures, tandis qu'un modèle de cohortes LTV mis à jour chaque mois n'a besoin que d'un chargement nocturne. Ne payez pas pour une fraîcheur dont personne ne se sert.

Les connecteurs doivent écrire dans un schéma brut dédié, intact et en ajout uniquement. Ne laissez jamais les analystes ou les outils BI interroger directement les tables brutes et ne transformez jamais les données sur place.

La zone brute est votre assurance : si une transformation comporte une erreur ou si la logique métier évolue, vous pouvez la rejouer à partir des données brutes sans les récupérer à nouveau auprès des API. Traitez-la comme le système de référence immuable.

La chaîne de traitement peut aussi fonctionner à l'envers. L'ETL inversé synchronise les données modélisées de l'entrepôt vers les outils opérationnels : il peut envoyer un segment LTV calculé dans Meta pour créer une audience similaire, ou un score d'attrition dans Salesforce.

La boucle est ainsi bouclée. L'entrepôt cesse d'être un cul-de-sac réservé aux rapports et devient le cerveau qui renvoie un ciblage et une personnalisation plus intelligents vers les canaux.

Vous pouvez écrire vos propres extracteurs Python pour chaque API, avec un contrôle total et sans frais par ligne. Mais vous devez alors prendre en charge le renouvellement de l'authentification, les limites de débit, la pagination, la dérive du schéma et l'astreinte lorsqu'une API change à deux heures du matin.

La plupart des équipes achètent des connecteurs gérés pour les sources standard et ne développent leurs propres solutions que pour les systèmes spécialisés ou propriétaires. Le temps d'ingénierie est généralement plus rare que le budget d'abonnement aux connecteurs.

Une défaillance silencieuse d'une chaîne de traitement est pire qu'une défaillance visible, car les utilisateurs continuent de faire confiance à des tableaux de bord obsolètes. L'EL en production nécessite une supervision : alertes de réussite des synchronisations, contrôles de fraîcheur et détection des anomalies du nombre de lignes.

Définissez des SLA de fraîcheur, par exemple en exigeant que les dépenses publicitaires datent de moins de 24 heures, et déclenchez une alerte lorsqu'ils ne sont pas respectés. La confiance dans les données repose sur la connaissance du moment où elles deviennent obsolètes, et non sur une découverte en réunion.

Les connecteurs sont le moteur EL qui s'authentifie auprès des sources, gère les synchronisations incrémentielles et la dérive du schéma, puis dépose les données brutes dans une zone immuable. Les outils gérés comme Fivetran, Airbyte et Supermetrics échangent un coût d'abonnement contre de la fiabilité.

Les piles modernes privilégient l'ELT, qui transforme les données au sein de l'entrepôt, ajoutent l'ETL inversé pour renvoyer les informations utiles vers les canaux et considèrent la supervision des chaînes de traitement et les SLA de fraîcheur comme essentiels, et non facultatifs.