ETL und Konnektoren

Beim klassischen ETL werden Daten extrahiert, auf einem externen Server transformiert und anschließend das bereinigte Ergebnis geladen. Moderne Data Warehouses vertauschen die letzten beiden Schritte: Bei ELT werden Rohdaten zunächst extrahiert und geladen und anschließend mithilfe von SQL im Data Warehouse transformiert.

ELT setzt sich durch, weil Rechenleistung im Data Warehouse günstig und elastisch skalierbar ist. Sie behalten Rohdaten dauerhaft, können sie bei Änderungen der Geschäftslogik erneut transformieren und verlieren keine Details durch eine zu frühe Bereinigung.

Ein Konnektor ist die EL-Engine: Er authentifiziert sich bei der API einer Quelle, ruft Datensätze nach einem Zeitplan ab und schreibt sie in Tabellen des Data Warehouses, die dem Quellschema entsprechen. Er übernimmt Seitennavigation, Rate Limits, Wiederholungsversuche und Schemaänderungen, sodass Sie keine fragilen Skripte schreiben müssen.

Verwaltete Konnektoren machen aus einer Woche API-Integrationsarbeit wenige OAuth-Klicks und die Einstellung eines Synchronisierungsintervalls.

Mehrere Plattformen sind auf vorgefertigte Marketing-Konnektoren spezialisiert. Fivetran und Airbyte sind allgemeine EL-Tools mit Hunderten von Datenquellen. Funnel, Supermetrics und Adverity konzentrieren sich speziell auf Marketing- und Werbedaten.

Der Kompromiss: Verwaltete Tools kosten Geld, oft pro Zeile oder aktiver Quelle, sparen aber Engineering-Zeit und beheben sich selbst, wenn sich APIs ändern. Bei volatilen Werbe-APIs ist diese Zuverlässigkeit sehr wertvoll.

Die meisten Marketingquellen authentifizieren sich mit OAuth 2.0: Sie gewähren dem Konnektor einen eingeschränkten, widerrufbaren Zugriff, ohne ein Passwort weiterzugeben. Der Konnektor speichert ein Refresh-Token und erneuert den Zugriff im Hintergrund.

Achten Sie auf den Ablauf von Tokens und auf Berechtigungsbereiche. Ein häufiger Fehler: Die Person, die die Verbindung eingerichtet hat, verlässt das Unternehmen, widerruft die OAuth-Berechtigung und legt dadurch unbemerkt jede nachgelagerte Synchronisierung lahm.

Bei einem vollständigen Ladevorgang wird bei jeder Synchronisierung jeder Datensatz erneut abgerufen. Das ist einfach, bei großen Datenmengen jedoch teuer und langsam. Ein inkrementeller Ladevorgang ruft nur Datensätze ab, die sich seit der letzten Synchronisierung geändert haben, und verwendet dafür einen Cursor wie einen Zeitstempel in updated_at.

Die meisten Produktivpipelines verwenden aus Gründen des Datenvolumens inkrementelle Synchronisierungen und führen regelmäßig vollständige Aktualisierungen durch, um Löschungen und Korrekturen zu erfassen. Die richtige Wahl des Cursors entscheidet darüber, ob Daten aktuell sind oder unbemerkt Lücken enthalten.

Quell-APIs ändern sich ohne Vorwarnung: Eine Plattform benennt ein Feld um, fügt eine Spalte hinzu oder ändert einen Datentyp. Das ist Schema Drift und führt unbemerkt zu Fehlern in nachgelagerten Modellen und Dashboards.

Gute Konnektoren erkennen neue Spalten automatisch und fügen sie hinzu, protokollieren Änderungen an Datentypen und warnen vor inkompatiblen Änderungen. Trotzdem sollte Ihre Transformationsebene getestet werden, damit Schema Drift als fehlgeschlagener Test sichtbar wird und nicht als falsche Zahl auf dem Dashboard der Geschäftsführung.

Wie aktuell müssen Marketingdaten sein? Für die Berichterstattung zu Ausgaben reicht eine tägliche Aktualisierung aus; bei der Steuerung laufender Kampagnen ist eine untertägige Aktualisierung wichtig. Häufigere Synchronisierungen bedeuten höhere Kosten für Konnektoren und das Data Warehouse.

Richten Sie den Turnus an der Entscheidung aus. Ein Dashboard zur Budgetsteuerung kann stündlich synchronisiert werden, während ein monatlich aktualisiertes LTV-Kohortenmodell nur einen nächtlichen Ladevorgang benötigt. Bezahlen Sie nicht für eine Aktualität, auf deren Grundlage niemand handelt.

Konnektoren sollten in ein eigenes Raw-Schema schreiben, das unverändert und ausschließlich im Append-Verfahren beschrieben wird. Lassen Sie niemals Analysten oder BI-Tools direkt Raw-Tabellen abfragen, und transformieren Sie Daten niemals direkt am bestehenden Ort.

Die Raw-Zone ist Ihre Versicherung: Wenn eine Transformation einen Fehler enthält oder sich die Geschäftslogik ändert, können Sie die Daten aus dem Raw-Bestand erneut verarbeiten, ohne sie noch einmal aus den APIs abzurufen. Behandeln Sie ihn als unveränderlichen System-of-Record.

Die Pipeline kann auch rückwärts laufen. Reverse ETL synchronisiert modellierte Daten aus dem Data Warehouse zurück in operative Tools: etwa ein berechnetes LTV-Segment für eine Lookalike-Zielgruppe an Meta oder einen Churn-Score an Salesforce zu übermitteln.

Damit schließt sich der Kreislauf. Das Data Warehouse ist nicht länger eine Sackgasse für Berichte, sondern wird zum Steuerzentrum, das intelligentere Zielgruppenansprache und Personalisierung zurück in die Kanäle bringt.

Sie können für jede API eigene Python-Extraktoren schreiben und haben dadurch vollständige Kontrolle, ohne Gebühren pro Zeile. Dann sind Sie jedoch auch für die Erneuerung der Authentifizierung, Rate Limits, Seitennavigation, Schema Drift und den Bereitschaftsdienst verantwortlich, wenn sich um 2 Uhr nachts eine API ändert.

Die meisten Teams kaufen verwaltete Konnektoren für Standardquellen und entwickeln nur für spezielle oder proprietäre Systeme eigene Lösungen. Engineering-Zeit ist meist knapper als das Budget für Konnektorabonnements.

Ein unbemerkter Pipeline-Fehler ist schlimmer als ein sichtbarer, weil Menschen weiterhin veralteten Dashboards vertrauen. Für produktives EL benötigen Sie Monitoring: Warnungen bei erfolgreicher oder fehlgeschlagener Synchronisierung, Aktualitätsprüfungen und die Erkennung von Anomalien bei Zeilenanzahlen.

Legen Sie Aktualitäts-SLAs fest, zum Beispiel, dass Werbeausgaben höchstens 24 Stunden alt sein dürfen, und warnen Sie bei einer Überschreitung. Vertrauen in Daten entsteht dadurch, dass Sie den Zeitpunkt kennen, an dem sie veralten, und nicht erst in einem Meeting darauf stoßen.

Konnektoren sind die EL-Engine: Sie authentifizieren sich bei Quellen, übernehmen inkrementelle Synchronisierungen und Schema Drift und legen Rohdaten in einer unveränderlichen Zone ab. Verwaltete Tools wie Fivetran, Airbyte und Supermetrics tauschen Abonnementkosten gegen Zuverlässigkeit.

Moderne Stacks bevorzugen ELT und transformieren Daten innerhalb des Data Warehouses. Reverse ETL überträgt Erkenntnisse zurück in die Kanäle, während Pipeline-Monitoring und Aktualitäts-SLAs als unverzichtbar und nicht als optional gelten.