พื้นฐาน DBT (เครื่องมือสร้างข้อมูล)

dbt คืออะไร

เหตุใดจึงต้องใช้ dbt

โครงสร้างโครงการ

my_project/
  dbt_project.yml
  models/
    staging/
      stg_orders.sql
    marts/
      fct_revenue.sql
  tests/
  seeds/
  macros/

ไฟล์โมเดล

-- models/staging/stg_orders.sql
{{ config(materialized='view') }}
SELECT
  id,
  user_id,
  total,
  created_at
FROM {{ source('raw', 'orders') }}

ประเภทการสร้างผลลัพธ์

ฟังก์ชันอ้างอิงและการพึ่งพา

-- models/marts/fct_revenue.sql
SELECT
  date_trunc('day', created_at) AS day,
  SUM(total) AS revenue
FROM {{ ref('stg_orders') }}
GROUP BY 1

เรียกใช้ dbt

dbt run                    # build all models
dbt run --select staging   # subset
dbt run --select +fct_revenue   # this model and upstream
dbt build                   # run + test

แหล่งข้อมูล

# models/sources.yml
sources:
  - name: raw
    database: warehouse
    tables:
      - name: orders

โมเดลแบบเพิ่มข้อมูลต่อเนื่อง

{{ config(materialized='incremental', unique_key='id') }}
SELECT *
FROM {{ source('raw','orders') }}
{% if is_incremental() %}
  WHERE created_at > (SELECT MAX(created_at) FROM {{ this }})
{% endif %}

การสร้างแม่แบบด้วย Jinja

{% set tiers = ['free','pro','enterprise'] %}
SELECT user_id,
{% for t in tiers %}
  COUNT(*) FILTER (WHERE tier = '{{ t }}') AS {{ t }}_count {% if not loop.last %},{% endif %}
{% endfor %}
FROM users GROUP BY user_id

สแนปชอต

{% snapshot user_snapshot %}
  {{ config(
    target_schema='snapshots',
    unique_key='id',
    strategy='timestamp',
    updated_at='updated_at',
  ) }}
  SELECT * FROM {{ source('raw','users') }}
{% endsnapshot %}

เอกสาร

dbt docs generate
dbt docs serve     # opens browser

สรุปทบทวน

ตรวจสอบอย่างรวดเร็ว