ETL과 커넥터

기존 ETL은 데이터를 추출하고, 외부 서버에서 변환한 다음, 정제된 결과를 적재합니다. 현대적 웨어하우스는 마지막 두 단계를 뒤집습니다. ELT는 먼저 원천 데이터를 추출하고 적재한 다음, SQL을 사용해 웨어하우스 내부에서 변환합니다.

ELT가 효과적인 이유는 웨어하우스의 컴퓨팅 자원이 저렴하고 탄력적이기 때문입니다. 원천 데이터를 영구적으로 보관하고, 비즈니스 로직이 바뀌면 다시 변환할 수 있으며, 너무 이른 정제 단계에서 세부 정보가 사라지는 일도 없습니다.

커넥터는 EL 엔진입니다. 원천 시스템의 API에 인증하고, 일정에 따라 레코드를 가져오며, 원천 스키마에 맞는 웨어하우스 테이블에 기록합니다. 페이지 나누기, 요청 한도, 재시도, 스키마 변경을 처리하므로 취약한 스크립트를 직접 작성할 필요가 없습니다.

관리형 커넥터를 사용하면 일주일이 걸릴 API 연결 작업을 OAuth 인증 몇 번과 동기화 주기 설정 몇 번으로 끝낼 수 있습니다.

미리 구축된 마케팅 커넥터를 전문으로 하는 플랫폼이 여러 개 있습니다. 피브트란과 에어바이트는 수백 개의 원천을 지원하는 범용 EL 도구입니다. 퍼널, 슈퍼메트릭스, 애드버리티는 마케팅 및 광고 데이터에 특화되어 있습니다.

절충점은 다음과 같습니다. 관리형 도구는 대개 행 수나 활성 원천 수를 기준으로 비용이 발생하지만, 엔지니어링 시간을 절약하고 API가 변경될 때 자동으로 복구합니다. 자주 바뀌는 광고 API에서는 이러한 안정성이 큰 가치를 가집니다.

대부분의 마케팅 원천은 OAuth 2.0으로 인증합니다. 비밀번호를 공유하지 않고도 커넥터에 범위가 지정되고 취소할 수 있는 접근 권한을 부여할 수 있습니다. 커넥터는 갱신 토큰을 저장하고 조용히 접근 권한을 갱신합니다.

토큰 만료와 권한 범위를 확인하십시오. 흔히 발생하는 장애는 연결을 설정한 마케터가 회사를 떠나면서 OAuth 승인을 취소하고, 그 결과 이후의 모든 동기화가 조용히 중단되는 경우입니다.

전체 적재는 동기화할 때마다 모든 레코드를 다시 가져옵니다. 단순하지만 규모가 커지면 비용이 많이 들고 느립니다. 증분 적재는 마지막 동기화 이후 변경된 레코드만 가져오며, 수정 시각 같은 커서를 사용합니다.

대부분의 운영 파이프라인은 데이터 양을 관리하기 위해 증분 동기화를 사용하고, 삭제와 수정 사항을 포착하기 위해 주기적으로 전체 새로 고침을 수행합니다. 커서를 올바르게 선택하는 것이 최신 데이터와 조용한 누락을 가르는 기준입니다.

원천 API는 예고 없이 변경됩니다. 플랫폼이 필드 이름을 바꾸거나, 열을 추가하거나, 데이터 유형을 변경할 수 있습니다. 이것이 스키마 드리프트이며, 이후 모델과 대시보드를 조용히 망가뜨립니다.

좋은 커넥터는 새 열을 자동으로 감지해 추가하고, 유형 변경을 기록하며, 호환성을 깨뜨리는 변경을 알려 줍니다. 그래도 변환 계층은 반드시 테스트해야 합니다. 그래야 드리프트가 CEO 대시보드의 잘못된 숫자가 아니라 실패한 테스트로 드러납니다.

마케팅 데이터는 얼마나 최신이어야 할까요? 지출 보고에는 매일 한 번이면 충분하지만, 실시간 캠페인의 진행 속도를 관리하려면 하루 중 여러 번의 갱신이 중요합니다. 동기화가 잦을수록 커넥터와 웨어하우스 비용이 높아집니다.

의사 결정에 맞춰 주기를 정하십시오. 예산 진행 상황 대시보드는 매시간 동기화할 수 있지만, 매달 갱신되는 LTV 코호트 모델에는 야간 적재만 필요합니다. 아무도 활용하지 않는 최신성에 비용을 지불하지 마십시오.

커넥터는 별도의 원천 스키마에 데이터를 변경하지 않고 추가 전용으로 기록해야 합니다. 분석가나 BI 도구가 원천 테이블을 직접 조회하게 해서는 안 되며, 같은 위치에서 변환해서도 안 됩니다.

원천 영역은 보험과 같습니다. 변환에 오류가 있거나 비즈니스 로직이 변경되더라도 API에서 다시 가져오지 않고 원천 데이터로부터 재처리할 수 있습니다. 이 영역을 변경할 수 없는 시스템 기록으로 취급하십시오.

파이프라인은 반대 방향으로도 실행할 수 있습니다. 역방향 ETL은 모델링된 데이터를 웨어하우스에서 운영 도구로 다시 동기화합니다. 예를 들어 계산된 LTV 세그먼트를 메타로 보내 유사 잠재고객을 만들거나, 이탈 점수를 세일즈포스로 보낼 수 있습니다.

이렇게 순환 구조가 완성됩니다. 웨어하우스는 보고서만 만드는 종착점이 아니라, 더 정교한 타기팅과 개인화를 채널에 다시 제공하는 두뇌가 됩니다.

각 API에 연결하는 자체 파이썬 추출기를 작성하면 행별 요금 없이 모든 것을 직접 제어할 수 있습니다. 하지만 인증 갱신, 요청 한도, 페이지 나누기, 스키마 드리프트, 새벽 2시에 API가 변경되었을 때의 비상 대응까지 모두 직접 책임져야 합니다.

대부분의 팀은 표준 원천에 관리형 커넥터를 구매하고, 특수하거나 독점적인 시스템에만 직접 구축합니다. 대개 엔지니어링 시간이 커넥터 구독 예산보다 더 부족하기 때문입니다.

감지되지 않은 파이프라인 장애는 크게 드러나는 장애보다 나쁩니다. 사람들이 오래된 대시보드를 계속 신뢰하기 때문입니다. 운영 EL에는 동기화 성공 알림, 최신성 검사, 행 수 이상 감지가 필요합니다.

최신성 서비스 수준 기준을 설정하고, 예를 들어 광고 지출 데이터가 24시간보다 오래되지 않아야 한다는 기준을 정한 뒤 이를 위반하면 알림을 보내십시오. 데이터에 대한 신뢰는 데이터가 오래되기 시작한 순간을 아는 데서 생기며, 회의 중에 발견하는 데서 생기지 않습니다.

웨어하우스의 컴퓨팅 자원은 저렴하고 탄력적이며, 비즈니스 로직이 바뀌었을 때 다시 모델링할 수 있도록 원천 데이터의 세부 정보를 모두 보존하고 싶습니다. 어떤 적재 방식이 적합하며, 변환은 어디에서 수행해야 할까요?

커넥터는 원천 시스템에 인증하고, 증분 동기화와 스키마 드리프트를 처리하며, 변경할 수 없는 영역에 원천 데이터를 적재하는 EL 엔진입니다. 피브트란, 에어바이트, 슈퍼메트릭스와 같은 관리형 도구는 구독 비용을 안정성과 맞바꿉니다.

현대적 스택은 웨어하우스 내부에서 변환하는 ELT를 선호하고, 역방향 ETL을 추가해 인사이트를 채널로 다시 전달하며, 파이프라인 모니터링과 최신성 서비스 수준 기준을 선택 사항이 아닌 필수 요소로 취급합니다.