Digital Marketing Academy · บทเรียน

ETL และตัวเชื่อมต่อ

ส่งข้อมูลเข้าสู่ระบบ

ETL และตัวเชื่อมต่อ เป็นบทเรียน Digital Marketing Academy ฟรีบน CoddyKit นี่คือบทเรียนที่ 2 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน Digital Marketing Academy และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส Digital Marketing Academy มีบทเรียนทั้งหมด 4 บทเรียน

ETL กับ ELT

ETL แบบดั้งเดิมจะแยกข้อมูลออกมา แปลงข้อมูลบนเซิร์ฟเวอร์ภายนอก แล้วจึงโหลดผลลัพธ์ที่สะอาดแล้วเข้าไป ส่วนคลังข้อมูลสมัยใหม่จะสลับสองขั้นตอนท้ายเป็น ELT โดยแยกและโหลดข้อมูลดิบก่อน จากนั้นจึงแปลงข้อมูลภายในคลังข้อมูลด้วย SQL

ELT ได้เปรียบเพราะการประมวลผลของคลังข้อมูลมีต้นทุนต่ำและเพิ่มลดได้อย่างยืดหยุ่น คุณสามารถเก็บข้อมูลดิบไว้ได้ตลอดไป แปลงข้อมูลใหม่ได้เมื่อกฎทางธุรกิจเปลี่ยน และไม่สูญเสียรายละเอียดจากการทำความสะอาดข้อมูลเร็วเกินไป

ETL  (old)  Extract -> Transform -> Load
ELT  (new)  Extract -> Load -> Transform

ELT benefits:
- raw data preserved (re-model anytime)
- transform in SQL, in the warehouse
- scales with warehouse compute

ตัวเชื่อมต่อทำอะไร

ตัวเชื่อมต่อคือกลไก EL โดยจะยืนยันตัวตนกับ API ของแหล่งข้อมูล ดึงระเบียนตามกำหนดเวลา และเขียนระเบียนเหล่านั้นลงในตารางคลังข้อมูลที่มีสคีมาตรงกับแหล่งข้อมูล ตัวเชื่อมต่อจัดการการแบ่งหน้า ขีดจำกัดอัตราการเรียก การลองใหม่ และการเปลี่ยนแปลงสคีมาให้คุณ จึงไม่ต้องเขียนสคริปต์ที่เปราะบางเอง

ตัวเชื่อมต่อที่มีบริการจัดการช่วยเปลี่ยนงานเชื่อมต่อ API ที่ใช้เวลาหนึ่งสัปดาห์ให้เหลือเพียงไม่กี่คลิกสำหรับ OAuth และการตั้งค่าความถี่ในการซิงก์

เครื่องมือตัวเชื่อมต่อที่มีบริการจัดการ

มีแพลตฟอร์มหลายแห่งที่เชี่ยวชาญด้านตัวเชื่อมต่อการตลาดซึ่งสร้างไว้ล่วงหน้า Fivetran และ Airbyte เป็นเครื่องมือ EL ทั่วไปที่เชื่อมต่อแหล่งข้อมูลได้หลายร้อยแห่ง ส่วน Funnel, Supermetrics และ Adverity มุ่งเน้นข้อมูลการตลาดและโฆษณาโดยเฉพาะ

ข้อแลกเปลี่ยนคือ เครื่องมือที่มีบริการจัดการมีค่าใช้จ่าย ซึ่งมักคิดตามจำนวนแถวหรือจำนวนแหล่งข้อมูลที่ใช้งานอยู่ แต่ช่วยประหยัดเวลาวิศวกรรมและซ่อมแซมตัวเองได้เมื่อ API เปลี่ยนแปลง สำหรับ API โฆษณาที่เปลี่ยนแปลงบ่อย ความน่าเชื่อถือนี้คุ้มค่าอย่างมาก

Popular EL / connector tools
General:    Fivetran, Airbyte, Stitch
Marketing:  Funnel, Supermetrics, Adverity
Native free: GA4 -> BigQuery export
Open source: Airbyte (self-host) , Singer taps

การยืนยันตัวตนและ OAuth

แหล่งข้อมูลการตลาดส่วนใหญ่ใช้ OAuth 2.0 ในการยืนยันตัวตน โดยคุณมอบสิทธิ์การเข้าถึงตามขอบเขตที่เพิกถอนได้ให้ตัวเชื่อมต่อโดยไม่ต้องเปิดเผยรหัสผ่าน ตัวเชื่อมต่อจะจัดเก็บโทเค็นสำหรับต่ออายุและต่ออายุสิทธิ์การเข้าถึงให้โดยอัตโนมัติ

ควรติดตามการหมดอายุของโทเค็นและขอบเขตสิทธิ์ ปัญหาที่เกิดขึ้นบ่อยคือผู้ทำการตลาดที่ตั้งค่าการเชื่อมต่อออกจากบริษัท ทำให้สิทธิ์ OAuth ถูกเพิกถอนและการซิงก์ทุกขั้นตอนถัดไปหยุดทำงานโดยไม่มีสัญญาณเตือน

Auth patterns by source
Google Ads / GA4 -> OAuth 2.0 + developer token
Meta Ads         -> OAuth + long-lived token
Stripe / Shopify -> API key (secret)
HubSpot          -> Private app token / OAuth

Tip: connect via a service account, not a person

การโหลดแบบเพิ่มเฉพาะส่วนกับการโหลดทั้งหมด

การโหลดทั้งหมดจะดึงทุกระเบียนใหม่ทุกครั้งที่ซิงก์ ซึ่งเรียบง่ายแต่มีค่าใช้จ่ายสูงและช้าเมื่อข้อมูลมีขนาดใหญ่ ส่วนการโหลดแบบเพิ่มเฉพาะส่วนจะดึงเฉพาะระเบียนที่เปลี่ยนแปลงนับจากการซิงก์ครั้งล่าสุด โดยใช้ตัวชี้ตำแหน่ง เช่น การประทับเวลา updated_at

กระบวนการส่งข้อมูลในระบบจริงส่วนใหญ่ใช้การซิงก์แบบเพิ่มเฉพาะส่วนเพื่อรองรับปริมาณข้อมูล และรีเฟรชข้อมูลทั้งหมดเป็นระยะเพื่อให้พบระเบียนที่ถูกลบหรือแก้ไข การเลือกตัวชี้ตำแหน่งให้ถูกต้องคือสิ่งที่แยกข้อมูลปัจจุบันออกจากข้อมูลที่ขาดหายไปโดยไม่มีใครสังเกต

Incremental sync logic
last_synced = 2026-06-13 02:00

SELECT * FROM source
WHERE updated_at > last_synced;

-- store new cursor = MAX(updated_at)
-- full refresh weekly to catch deletes

สคีมาเปลี่ยนแปลงโดยไม่คาดหมาย

API ของแหล่งข้อมูลอาจเปลี่ยนแปลงโดยไม่แจ้งเตือน แพลตฟอร์มอาจเปลี่ยนชื่อฟิลด์ เพิ่มคอลัมน์ หรือเปลี่ยนชนิดข้อมูล นี่คือการเปลี่ยนแปลงสคีมาโดยไม่คาดหมาย ซึ่งทำให้แบบจำลองและแดชบอร์ดในขั้นตอนถัดไปเสียหายโดยไม่มีสัญญาณเตือน

ตัวเชื่อมต่อที่ดีจะตรวจหาคอลัมน์ใหม่และเพิ่มคอลัมน์เหล่านั้นโดยอัตโนมัติ บันทึกการเปลี่ยนชนิดข้อมูล และแจ้งเตือนเมื่อพบการเปลี่ยนแปลงที่ทำให้ระบบเสียหาย อย่างไรก็ตาม ชั้นการแปลงข้อมูลของคุณก็ควรได้รับการทดสอบ เพื่อให้การเปลี่ยนแปลงสคีมาปรากฏเป็นการทดสอบที่ไม่ผ่าน ไม่ใช่ตัวเลขผิดบนแดชบอร์ดของ CEO

ความถี่การซิงก์และความเป็นปัจจุบันของข้อมูล

ข้อมูลการตลาดต้องใหม่แค่ไหน การรายงานค่าใช้จ่ายรายวันก็เพียงพอ ส่วนการติดตามระหว่างวันมีความสำคัญเมื่อต้องควบคุมจังหวะของแคมเปญที่กำลังทำงานอยู่ การซิงก์ที่ถี่ขึ้นหมายถึงต้นทุนของตัวเชื่อมต่อและคลังข้อมูลที่สูงขึ้น

กำหนดรอบเวลาให้สอดคล้องกับการตัดสินใจ แดชบอร์ดสำหรับควบคุมจังหวะการใช้งบประมาณอาจซิงก์ทุกชั่วโมง ขณะที่แบบจำลองกลุ่มลูกค้าตาม LTV ซึ่งอัปเดตทุกเดือนอาจต้องโหลดข้อมูลเพียงทุกคืน อย่าจ่ายเพื่อความใหม่ของข้อมูลที่ไม่มีใครนำไปใช้

Match cadence to use case
Live budget pacing   -> hourly
Daily spend report   -> nightly
Monthly LTV cohorts  -> nightly is plenty
Finance close        -> daily + monthly full refresh

พื้นที่รับข้อมูลดิบ

ตัวเชื่อมต่อควรเขียนข้อมูลลงในสคีมาข้อมูลดิบโดยเฉพาะ ซึ่งไม่มีการแก้ไขและเพิ่มข้อมูลต่อท้ายเท่านั้น ห้ามให้นักวิเคราะห์หรือเครื่องมือ BI สอบถามตารางข้อมูลดิบโดยตรง และห้ามแปลงข้อมูลในตารางเดิม

พื้นที่ข้อมูลดิบคือหลักประกันของคุณ หากการแปลงข้อมูลมีข้อผิดพลาดหรือกฎทางธุรกิจเปลี่ยนแปลง คุณสามารถประมวลผลข้อมูลใหม่จากข้อมูลดิบได้โดยไม่ต้องดึงข้อมูลจาก API อีกครั้ง ให้ถือว่าพื้นที่นี้เป็นแหล่งบันทึกข้อมูลหลักที่ไม่เปลี่ยนแปลง

Layered destination
raw.google_ads__campaign_stats   <- connector writes here
raw.meta_ads__insights
raw.ga4_events
        |  dbt transforms
        v
staging.* -> marts.*   <- everyone else reads here

ETL ย้อนกลับ

กระบวนการส่งข้อมูลสามารถทำงานย้อนกลับได้เช่นกัน ETL ย้อนกลับจะซิงก์ข้อมูลที่สร้างแบบจำลองแล้วจากคลังข้อมูลกลับไปยังเครื่องมือปฏิบัติการ เช่น ส่งกลุ่มลูกค้าตาม LTV ที่คำนวณแล้วไปยัง Meta เพื่อสร้างกลุ่มเป้าหมายที่มีลักษณะคล้ายกัน หรือส่งคะแนนการเลิกใช้บริการไปยัง Salesforce

การทำเช่นนี้ช่วยปิดวงจร คลังข้อมูลจะไม่ใช่ทางตันสำหรับการรายงานอีกต่อไป แต่กลายเป็นสมองที่ส่งข้อมูลกลับไปยังช่องทางต่าง ๆ เพื่อให้กำหนดเป้าหมายและปรับเนื้อหาเฉพาะบุคคลได้ฉลาดยิ่งขึ้น

Reverse ETL flow
[ WAREHOUSE model: high_ltv_users ]
        |  Census / Hightouch
        v
[ Meta Custom Audience ]  [ Salesforce field ]

Use: lookalikes, suppression lists, lead scoring

สร้างเองหรือซื้อ

คุณสามารถเขียนตัวดึงข้อมูลด้วย Python เองสำหรับแต่ละ API ได้ ทำให้ควบคุมได้เต็มที่และไม่ต้องเสียค่าบริการตามจำนวนแถว แต่คุณจะต้องรับผิดชอบการต่ออายุการยืนยันตัวตน ขีดจำกัดอัตราการเรียก การแบ่งหน้า การเปลี่ยนแปลงสคีมาโดยไม่คาดหมาย และการรับเวรดูแลเมื่อ API เปลี่ยนแปลงตอนตีสอง

ทีมส่วนใหญ่เลือกซื้อตัวเชื่อมต่อที่มีบริการจัดการสำหรับแหล่งข้อมูลมาตรฐาน และสร้างเองเฉพาะระบบเฉพาะทางหรือระบบกรรมสิทธิ์เท่านั้น โดยทั่วไปเวลาวิศวกรรมมีจำกัดกว่างบประมาณสำหรับสมัครใช้ตัวเชื่อมต่อ

Build vs buy checklist
Buy when:  source is common, you value reliability
Build when: source is niche / has no connector,
            volume makes per-row pricing painful,
            you have engineers to maintain it

การตรวจสอบกระบวนการส่งข้อมูล

กระบวนการส่งข้อมูลที่ล้มเหลวโดยไม่มีสัญญาณเตือนแย่กว่าการล้มเหลวที่แจ้งให้ทราบ เพราะผู้คนยังคงเชื่อถือแดชบอร์ดที่มีข้อมูลเก่า การทำงาน EL ในระบบจริงจึงต้องมีการตรวจสอบ ได้แก่ การแจ้งเตือนเมื่อซิงก์สำเร็จ การตรวจสอบความเป็นปัจจุบันของข้อมูล และการตรวจจับความผิดปกติของจำนวนแถว

กำหนดข้อตกลงระดับบริการด้านความเป็นปัจจุบันของข้อมูล เช่น ค่าใช้จ่ายโฆษณาต้องมีอายุไม่เกิน 24 ชั่วโมง และแจ้งเตือนเมื่อไม่เป็นไปตามข้อตกลง ความเชื่อถือในข้อมูลเกิดจากการรู้ทันทีที่ข้อมูลเริ่มเก่า ไม่ใช่เพิ่งค้นพบในที่ประชุม

Freshness check (dbt-style)
sources:
  - name: google_ads
    freshness:
      warn_after: {count: 12, period: hour}
      error_after: {count: 24, period: hour}
    loaded_at_field: _synced_at

ตรวจสอบความเข้าใจ

การประมวลผลของคลังข้อมูลมีต้นทุนต่ำและเพิ่มลดได้อย่างยืดหยุ่น และคุณต้องการเก็บรายละเอียดจากแหล่งข้อมูลไว้ครบถ้วนเพื่อสร้างแบบจำลองใหม่ได้เมื่อกฎทางธุรกิจเปลี่ยนแปลง รูปแบบการโหลดใดเหมาะสม และควรแปลงข้อมูลที่ใด

สรุปทบทวน

ตัวเชื่อมต่อคือกลไก EL ที่ยืนยันตัวตนกับแหล่งข้อมูล จัดการการซิงก์แบบเพิ่มเฉพาะส่วนและการเปลี่ยนแปลงสคีมาโดยไม่คาดหมาย และนำข้อมูลดิบไปเก็บไว้ในพื้นที่ที่ไม่เปลี่ยนแปลง เครื่องมือที่มีบริการจัดการ เช่น Fivetran, Airbyte และ Supermetrics แลกค่าใช้บริการกับความน่าเชื่อถือ

กลุ่มเทคโนโลยีสมัยใหม่มักเลือกใช้ ELT ซึ่งแปลงข้อมูลภายในคลังข้อมูล เพิ่ม ETL ย้อนกลับเพื่อส่งข้อมูลเชิงลึกกลับไปยังช่องทางต่าง ๆ และถือว่าการตรวจสอบกระบวนการส่งข้อมูลกับข้อตกลงระดับบริการด้านความเป็นปัจจุบันเป็นสิ่งจำเป็น ไม่ใช่สิ่งที่เลือกทำหรือไม่ทำก็ได้

คำถามที่พบบ่อย

บทเรียน “ETL และตัวเชื่อมต่อ” ฟรีหรือไม่

ใช่ — ข้อความเต็มของ “ETL และตัวเชื่อมต่อ” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส Digital Marketing Academy ให้อัปเกรดเป็น CoddyKit PRO คอร์ส Digital Marketing Academy มีบทเรียนทั้งหมด 4 บทเรียน

คุณจะเรียนรู้อะไรในบทเรียน “ETL และตัวเชื่อมต่อ”

ส่งข้อมูลเข้าสู่ระบบ คุณปฏิบัติ Digital Marketing Academy ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน

คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน Digital Marketing Academy หรือไม่

ไม่จำเป็นต้องมีประสบการณ์มาก่อน Digital Marketing Academy บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 2 จากทั้งหมด 4 บทเรียน

บทเรียน “ETL และตัวเชื่อมต่อ” ใช้เวลานานแค่ไหน

บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย

ฉันเขียนและรันโค้ดในบทเรียน Digital Marketing Academy นี้ได้ไหม

ได้ บทเรียน Digital Marketing Academy ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ

บทเรียนทั้งหมดในหลักสูตรนี้

← กลับไปที่ Digital Marketing Academy