스스로 속지 않고 유의성 읽기

테스트 초반에는 도전자 모델이 순전히 운 때문에 놀라울 정도로 좋아 보일 수 있습니다. 통계적 유의성은 실제 효과와 무작위 잡음을 구분하는 방법입니다. 🎲

p-value는 두 모델이 실제로 동일하다고 할 때 현재 결과가 나타날 가능성을 추정합니다. p-value가 작다는 것은 그 차이가 순전히 운으로 생겼을 가능성이 낮다는 뜻입니다.

팀에서는 p-value가 0.05 아래로 내려가면 결과를 유의하다고 부르는 경우가 많습니다. 이는 법칙이 아니라 관례이므로 절대적인 기준이 아닌 참고 지침으로 사용하십시오.

전환 테스트에서는 두 비율 z-검정을 사용하여 두 비율을 비교합니다. SciPy를 사용하면 그룹별 집계값으로 이를 실행할 수 있습니다.

신뢰 구간은 실제 lift가 있을 법한 범위를 보여 줍니다. 그 범위에 여전히 0이 포함된다면 실제 차이가 있다고 주장할 수 없습니다.

감지하려는 lift를 바탕으로 시작하기 전에 필요한 사용자 수를 결정하십시오. 사용자가 너무 적으면 실제 승리도 드러나지 않습니다.

결과를 계속 확인하다가 좋아 보이는 순간 멈추는 것을 엿보기라고 합니다. 이는 거짓 양성을 크게 늘리므로 너무 일찍 결론을 내리고 싶은 충동을 억제하십시오.

처음부터 고정된 종료일이나 표본 크기를 정하고 테스트가 끝날 때까지 진행하십시오. 평일 사용자와 주말 사용자는 다르므로 전체 주기를 포함해야 편향을 피할 수 있습니다.

결과가 통계적으로 유의하면서도 효과는 아주 작을 수 있습니다. 새 모델을 배포할 만큼 효과 크기가 충분히 큰지 항상 확인하십시오.

스무 개의 지표를 테스트하면 그중 하나는 우연히 유의해 보일 가능성이 큽니다. 하나의 주요 지표를 고수하거나, 여러 지표를 한 번에 테스트하는 데 맞게 보정하십시오.

유의성의 핵심 목적은 스스로를 속이지 않게 하는 것입니다. 계획을 사전 등록하고, 충분한 데이터를 기다리며, 결과를 정직하게 보고하십시오. ✅

가장 흔한 자기기만을 찾아보겠습니다.

p-value와 신뢰 구간을 사용하여 신호와 잡음을 구분하십시오. 먼저 표본 크기를 정하고, 절대 엿보지 말며, 배포하기 전에 효과 크기를 고려하십시오. 🎯