Great Expectations로 데이터 검증하기

잘못된 입력은 예측을 조용히 오염시킵니다. Great Expectations는 들어오는 데이터가 모델에 도달하기 전에 규칙에 맞는지 확인합니다. 🛡️

기대 조건은 데이터에 대한 선언적 주장 하나입니다. 예를 들어 열에 누락값이 없거나 값이 특정 범위에 속한다는 내용입니다.

메서드 이름이 의도를 명확히 나타내므로 누구나 검토할 수 있습니다. 명확한 선언적 방식은 데이터 계약을 쉽게 감사할 수 있게 합니다.

관련된 기대 조건은 함께 관리합니다. 기대 조건 모음은 하나의 데이터세트에 대해 실행하는 전체 규칙 집합입니다.

모든 규칙을 직접 작성할 필요는 없습니다. 프로파일러가 샘플 데이터를 분석하고 시작용 모음을 제안하면 이를 다듬어 사용합니다.

새 데이터에 모음을 적용하면 통과 또는 실패 결과가 생성됩니다. 각 검증은 어떤 기대 조건이 어떻게 깨졌는지 정확히 보고합니다.

열은 경고 없이 이름이 바뀌거나 순서가 바뀔 수 있습니다. 스키마 기대 조건은 열 집합과 순서를 고정합니다.

값이 허용 범위 안에 있어도 분포 형태는 변할 수 있습니다. 분포 기대 조건은 평균이나 산포가 학습 데이터에서 벗어날 때 이를 표시합니다.

Great Expectations는 결과를 웹 보고서로 렌더링합니다. 이 데이터 문서는 팀 전체에 읽기 쉬운 데이터 품질 관점을 제공합니다.

데이터 수집 시점에 검증하여 잘못된 데이터가 초기에 차단되도록 하세요. 모음이 실패하면 학습이나 제공이 시작되기 전에 파이프라인을 중단할 수 있습니다.

모음은 좋은 데이터가 어떤 모습인지에 대한 공동의 합의입니다. 계약을 코드처럼 다루세요. 검토하고 Git에서 버전 관리하세요.

하나의 데이터세트에 대해 실행하는 전체 규칙 집합을 부르는 올바른 이름은 무엇입니까?

이제 Great Expectations를 사용합니다. 누락값, 범위, 스키마, 분포를 위한 선언적 모음으로 데이터를 검증하고 잘못된 입력을 초기에 차단합니다. ✅