ETL y conectores

El ETL clásico extrae los datos, los transforma en un servidor externo y después carga el resultado limpio. Los almacenes modernos invierten los dos últimos pasos: ELT extrae y carga primero los datos raw y después los transforma dentro del almacén mediante SQL.

ELT se impone porque el cómputo del almacén es barato y elástico. Conserva los datos raw indefinidamente, permite volver a transformarlos cuando cambia la lógica de negocio y evita perder detalles por una limpieza prematura.

Un conector es el motor de EL: se autentica en la API de un origen, extrae registros según una programación y los escribe en tablas del almacén que coinciden con el esquema de origen. Gestiona la paginación, los límites de velocidad, los reintentos y los cambios de esquema para que no tenga que escribir scripts frágiles.

Los conectores administrados convierten una semana de trabajo de integración con API en unos pocos clics para configurar OAuth y la frecuencia de sincronización.

Varias plataformas se especializan en conectores de marketing prediseñados. Fivetran y Airbyte son herramientas generales de EL con cientos de fuentes. Funnel, Supermetrics y Adverity se centran específicamente en los datos de marketing y publicidad.

La contrapartida es que las herramientas administradas cuestan dinero, a menudo por fila o por fuente activa, pero ahorran tiempo de ingeniería y se recuperan automáticamente cuando cambian las API. Para las API publicitarias volátiles, esa fiabilidad vale mucho.

La mayoría de las fuentes de marketing se autentican mediante OAuth 2.0: usted concede al conector acceso con permisos específicos y revocable sin compartir una contraseña. El conector almacena un token de actualización y renueva el acceso silenciosamente.

Vigile la caducidad de los tokens y los ámbitos de permisos. Un fallo habitual se produce cuando el profesional de marketing que configuró la conexión deja la empresa, revoca la autorización de OAuth y rompe silenciosamente todas las sincronizaciones posteriores.

Una carga completa vuelve a extraer todos los registros en cada sincronización: es sencilla, pero costosa y lenta a escala. Una carga incremental obtiene solo los registros modificados desde la última sincronización mediante un cursor, como una marca de tiempo updated_at.

La mayoría de los pipelines de producción usan sincronizaciones incrementales para manejar el volumen y recargas completas periódicas para detectar eliminaciones y correcciones. Elegir correctamente el cursor marca la diferencia entre datos actualizados y lagunas silenciosas.

Las API de origen cambian sin avisar: una plataforma cambia el nombre de un campo, añade una columna o modifica un tipo de datos. Esto es la deriva del esquema y rompe silenciosamente los modelos y dashboards posteriores.

Los buenos conectores detectan automáticamente las columnas nuevas y las añaden, registran los cambios de tipo y avisan de los cambios incompatibles. Aun así, su capa de transformación debe someterse a pruebas para que la deriva aparezca como una prueba fallida, no como un número erróneo en el dashboard del CEO.

¿Hasta qué punto deben estar actualizados los datos de marketing? Una actualización diaria es suficiente para informar sobre el gasto; las actualizaciones intradía son importantes para controlar el ritmo de las campañas activas. Las sincronizaciones más frecuentes implican un mayor coste del conector y del almacén.

Adapte la cadencia a la decisión. Un dashboard de control del ritmo del presupuesto puede sincronizarse cada hora, mientras que un modelo de cohortes de LTV que se actualiza mensualmente solo necesita una carga nocturna. No pague por una actualización de la que nadie va a sacar partido.

Los conectores deben escribir en un esquema raw dedicado, intacto y de solo adición. No permita nunca que los analistas o las herramientas de BI consulten directamente las tablas raw, ni transforme los datos en el mismo sitio.

La zona raw es su seguro: si una transformación contiene un error o cambia la lógica de negocio, puede volver a procesar los datos desde raw sin extraerlos de nuevo de las API. Trátela como el sistema de registro inmutable.

El pipeline también puede funcionar al revés. Reverse ETL sincroniza datos modelados del almacén con herramientas operativas: envía un segmento de LTV calculado a Meta para crear una audiencia similar, o una puntuación de abandono a Salesforce.

Esto cierra el ciclo. El almacén deja de ser un punto final de informes y se convierte en el cerebro que devuelve una segmentación y una personalización más inteligentes a los canales.

Puede escribir sus propios extractores de Python para cada API, con control total y sin tarifas por fila. Pero entonces será responsable de renovar la autenticación, gestionar los límites de velocidad, la paginación y la deriva del esquema, además de estar de guardia cuando una API cambie a las 2 de la madrugada.

La mayoría de los equipos compra conectores administrados para fuentes estándar y crea soluciones propias solo para sistemas especializados o propietarios. El tiempo de ingeniería suele ser más escaso que el presupuesto para suscripciones de conectores.

Un fallo silencioso del pipeline es peor que uno visible, porque la gente sigue confiando en dashboards obsoletos. El EL de producción necesita supervisión: alertas de sincronización correcta, comprobaciones de actualidad y detección de anomalías en el recuento de filas.

Defina SLA de actualidad, por ejemplo, el gasto publicitario no debe tener más de 24 horas, y avise cuando se incumplan. La confianza en los datos se construye sabiendo en qué momento quedan obsoletos, no descubriéndolo en una reunión.

El cómputo de su almacén es barato y elástico, y quiere conservar todos los detalles de origen para poder volver a modelarlos cuando cambie la lógica de negocio. ¿Qué patrón de carga es el adecuado y dónde deben realizarse las transformaciones?

Los conectores son el motor de EL que se autentica en las fuentes, gestiona las sincronizaciones incrementales y la deriva del esquema, y deposita los datos raw en una zona inmutable. Las herramientas administradas como Fivetran, Airbyte y Supermetrics intercambian el coste de suscripción por fiabilidad.

Las pilas modernas favorecen ELT, transforman los datos dentro del almacén, incorporan Reverse ETL para devolver información a los canales y consideran esenciales, no opcionales, la supervisión de pipelines y los SLA de actualidad.