ETL ja liittimet
Siirrä dataa järjestelmään.
ETL ja liittimet on ilmainen Digital Marketing Academy-oppitunti CoddyKitissä. Tämä on oppitunti 2/4. Voit lukea tästä oppimispolusta kokonaan mitkä tahansa 3 oppituntia ilmaiseksi — sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä käytännön harjoittelun sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Oppitunti kuuluu Digital Marketing Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. Digital Marketing Academy-kurssilla on yhteensä 4 oppituntia.
ETL vs ELT
Perinteisessä ETL:ssä data poimitaan, muunnetaan ulkoisella palvelimella ja ladataan sitten puhdistettu tulos. Modernit tietovarastot vaihtavat kaksi viimeistä vaihetta: ELT:ssä data poimitaan ja ladataan ensin raakana, minkä jälkeen se muunnetaan tietovaraston sisällä SQL:n avulla.
ELT on tehokas ratkaisu, koska tietovaraston laskenta on edullista ja joustavaa. Raakadata säilytetään pysyvästi, sen voi muuntaa uudelleen liiketoimintalogiikan muuttuessa, eikä yksityiskohtia menetetä ennenaikaisen puhdistuksen vuoksi.
ETL (old) Extract -> Transform -> Load
ELT (new) Extract -> Load -> Transform
ELT benefits:
- raw data preserved (re-model anytime)
- transform in SQL, in the warehouse
- scales with warehouse computeMitä liitin tekee
Liitin on EL-moottori: se todentaa yhteyden lähteen API:in, noutaa tietueet aikataulun mukaan ja kirjoittaa ne tietovaraston tauluihin, joiden rakenne vastaa lähteen skeemaa. Se käsittelee sivutuksen, pyyntörajoitukset, uudelleenyritykset ja skeemamuutokset, joten Teidän ei tarvitse kirjoittaa hauraita skriptejä.
Hallinnoidut liittimet muuttavat viikon API-integraatiotyön muutamaksi OAuth-valtuutuksen napsautukseksi ja synkronointitiheyden asetukseksi.
Hallinnoidut liitintyökalut
Useat alustat ovat erikoistuneet valmiisiin markkinointiliittimiin. Fivetran ja Airbyte ovat yleiskäyttöisiä EL-työkaluja, jotka tukevat satoja lähteitä. Funnel, Supermetrics ja Adverity keskittyvät erityisesti markkinointi- ja mainosdataan.
Haittapuolena on, että hallinnoidut työkalut maksavat rahaa, usein rivimäärän tai aktiivisen lähteen perusteella, mutta ne säästävät insinöörityöaikaa ja korjaavat itsensä API-muutosten jälkeen. Vaihtelevien mainos-API:en kohdalla luotettavuus on erittäin arvokasta.
Popular EL / connector tools
General: Fivetran, Airbyte, Stitch
Marketing: Funnel, Supermetrics, Adverity
Native free: GA4 -> BigQuery export
Open source: Airbyte (self-host) , Singer tapsTodennus ja OAuth
Useimmat markkinointilähteet käyttävät OAuth 2.0 -todennusta: annatte liittimelle rajatun ja peruttavissa olevan käyttöoikeuden jakamatta salasanaa. Liitin tallentaa refresh tokenin ja uusii käyttöoikeuden huomaamatta.
Seuratkaa tunnisteiden vanhenemista ja käyttöoikeusalueita. Yleinen ongelma syntyy, kun yhteyden määrittänyt markkinoija lähtee yrityksestä, peruu OAuth-valtuutuksen ja rikkoo huomaamatta kaikki sitä seuraavat synkronoinnit.
Auth patterns by source
Google Ads / GA4 -> OAuth 2.0 + developer token
Meta Ads -> OAuth + long-lived token
Stripe / Shopify -> API key (secret)
HubSpot -> Private app token / OAuth
Tip: connect via a service account, not a personInkrementaaliset ja täydet lataukset
Täysi lataus noutaa kaikki tietueet uudelleen jokaisella synkronointikerralla. Se on yksinkertainen, mutta suurilla tietomäärillä kallis ja hidas. Inkrementaalinen lataus noutaa vain viimeisimmän synkronoinnin jälkeen muuttuneet tietueet käyttämällä updated_at-aikaleiman kaltaista kursoria.
Useimmat tuotantoputket käyttävät inkrementaalista synkronointia suurten tietomäärien hallitsemiseksi ja ajoittaisia täysiä päivityksiä poistojen ja korjausten havaitsemiseksi. Kursorin oikea valinta ratkaisee, saadaanko ajantasaista dataa vai syntyykö huomaamattomia aukkoja.
Incremental sync logic
last_synced = 2026-06-13 02:00
SELECT * FROM source
WHERE updated_at > last_synced;
-- store new cursor = MAX(updated_at)
-- full refresh weekly to catch deletesSkeeman muuttuminen
Lähde-API:t muuttuvat varoittamatta: alusta nimeää kentän uudelleen, lisää sarakkeen tai muuttaa tietotyyppiä. Tätä kutsutaan skeeman muuttumiseksi, ja se rikkoo huomaamatta alavirran malleja ja koontinäyttöjä.
Hyvät liittimet tunnistavat uudet sarakkeet automaattisesti ja lisäävät ne, kirjaavat tyyppimuutokset ja hälyttävät rikkovista muutoksista. Muunnoskerros on silti testattava, jotta muutos näkyy epäonnistuneena testinä eikä toimitusjohtajan koontinäytön vääränä lukuna.
Synkronointitiheys ja ajantasaisuus
Kuinka tuoretta markkinointidatan täytyy olla? Päivittäinen päivitys riittää kuluraportointiin, mutta päivänsisäinen päivitys on tärkeä live-kampanjoiden budjetin kulutuksen seurantaan. Tiheämmät synkronoinnit lisäävät liittimen ja tietovaraston kustannuksia.
Sovittakaa päivitystahti päätöksen mukaan. Budjetin kulutuksen koontinäyttö voidaan synkronoida tunnin välein, kun taas kuukausittain päivittyvä LTV-kohorttimalli tarvitsee vain öisin tehtävän latauksen. Älkää maksako ajantasaisuudesta, jonka perusteella kukaan ei tee päätöksiä.
Match cadence to use case
Live budget pacing -> hourly
Daily spend report -> nightly
Monthly LTV cohorts -> nightly is plenty
Finance close -> daily + monthly full refreshRaakadatan laskeutumisalue
Liittimien tulee kirjoittaa erilliseen raw-skeemaan, jota ei muokata ja johon vain lisätään rivejä. Älkää koskaan antako analyytikoiden tai BI-työkalujen tehdä kyselyitä raakadata-tauluihin suoraan, älkääkä koskaan muuntako dataa paikallaan.
Raaka-alue on vakuutuksenne: jos muunnoksessa on virhe tai liiketoimintalogiikka muuttuu, voitte toistaa käsittelyn raakadatasta ilman uusia API-hakuja. Käsitelkää sitä muuttumattomana järjestelmän ensisijaisena totuuslähteenä.
Layered destination
raw.google_ads__campaign_stats <- connector writes here
raw.meta_ads__insights
raw.ga4_events
| dbt transforms
v
staging.* -> marts.* <- everyone else reads hereReverse ETL
Putki voi toimia myös toiseen suuntaan. Reverse ETL synkronoi mallinnetun datan tietovarastosta takaisin operatiivisiin työkaluihin: se voi viedä lasketun LTV-segmentin Metaan samankaltaisyleisöä varten tai poistuma-arvion Salesforceen.
Tämä sulkee kehän. Tietovarasto ei enää ole raportoinnin umpikuja, vaan älykäs keskus, joka syöttää parempaa kohdentamista ja personointia takaisin kanaviin.
Reverse ETL flow
[ WAREHOUSE model: high_ltv_users ]
| Census / Hightouch
v
[ Meta Custom Audience ] [ Salesforce field ]
Use: lookalikes, suppression lists, lead scoringRakenna vai osta
Voitte kirjoittaa omat Python-poimijat jokaista API:a varten, jolloin hallinta on täydellistä eikä rivikohtaisia maksuja ole. Silloin vastaatte kuitenkin käyttöoikeuksien uusimisesta, pyyntörajoituksista, sivutuksesta, skeeman muuttumisesta ja päivystyksestä, kun API muuttuu aamukahdelta.
Useimmat tiimit ostavat hallinnoidut liittimet vakiolähteitä varten ja rakentavat omat ratkaisut vain harvinaisia tai omia järjestelmiä varten. Insinöörityöaika on yleensä niukempaa kuin liittimien tilausbudjetti.
Build vs buy checklist
Buy when: source is common, you value reliability
Build when: source is niche / has no connector,
volume makes per-row pricing painful,
you have engineers to maintain itPutkien valvonta
Huomaamaton putken vika on pahempi kuin näkyvä vika, koska ihmiset luottavat edelleen vanhentuneisiin koontinäyttöihin. Tuotannon EL tarvitsee valvontaa: ilmoitukset synkronointien onnistumisesta, tuoreustarkistukset ja rivimäärien poikkeamien tunnistus.
Asettakaa tuoreuden SLA:t, esimerkiksi että mainoskulut eivät saa olla yli 24 tuntia vanhoja, ja hälyttäkää rajan ylittyessä. Luottamus dataan syntyy siitä, että vanhentuminen havaitaan heti, ei siitä, että se huomataan kokouksessa.
Freshness check (dbt-style)
sources:
- name: google_ads
freshness:
warn_after: {count: 12, period: hour}
error_after: {count: 24, period: hour}
loaded_at_field: _synced_atPikatarkistus
Tietovaraston laskenta on halpaa ja joustavaa, ja haluatte säilyttää lähteen täydet tiedot voidaksenne mallintaa datan uudelleen liiketoimintalogiikan muuttuessa. Mikä latausmalli sopii tähän, ja missä muunnokset pitäisi tehdä?
Kertaus
Liittimet ovat EL-moottori, joka todentaa yhteyden lähteisiin, käsittelee inkrementaaliset synkronoinnit ja skeeman muuttumisen sekä tallentaa raakadataa muuttumattomalle alueelle. Fivetranin, Airbyen ja Supermetricsin kaltaiset hallinnoidut työkalut vaihtavat tilauskustannuksen luotettavuuteen.
Modernit pinot suosivat ELT:tä ja tekevät muunnokset tietovaraston sisällä, käyttävät reverse ETL:ää oivallusten viemiseen takaisin kanaviin ja pitävät putkien valvontaa sekä tuoreuden SLA:ita välttämättöminä, eivät valinnaisina.
Opi Digital Marketing Academy tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 63
- Oppitunnit
- 239
Usein kysytyt kysymykset
Onko oppitunti ”ETL ja liittimet” ilmainen?
Kyllä — voit lukea täällä verkossa kokonaan ilmaiseksi mitkä tahansa Digital Marketing Academy-oppimispolun 3 oppituntia, myös oppitunnin “ETL ja liittimet”. Sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä interaktiiviset harjoitukset sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Digital Marketing Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”ETL ja liittimet”?
Siirrä dataa järjestelmään. Harjoittelet Digital Marketing Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni Digital Marketing Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin Digital Marketing Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 2/4.
Kuinka kauan ”ETL ja liittimet”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä Digital Marketing Academy-oppitunnilla?
Kyllä. Jokainen Digital Marketing Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.