통계적 유의성

전환율은 우연히 오르내립니다. 표본이 작은데 변형안 B가 A보다 2% 높다면 그 차이는 순수한 잡음일 수 있습니다.

통계적 유의성은 관찰된 차이가 무작위 행운이 아니라 실제일 가능성이 얼마나 높은지 알려 줍니다. 유의성이 없으면 아무 효과도 없는 변경 사항을 적용할 위험이 있습니다.

모든 측정에는 변동이 있습니다. 공정한 동전을 10번 던져도 앞면이 정확히 5번 나오는 경우는 드뭅니다.

전환도 마찬가지입니다. 짧은 실험에서는 한 변형안에 우연히 행운이 이어졌다는 이유만으로 가짜 승자가 나올 수 있습니다. 유의성은 진짜 신호와 이러한 잡음을 구분합니다.

p값은 변형안 사이에 실제로 차이가 없다고 가정할 때 현재 결과 또는 이보다 더 극단적인 결과가 나타날 확률을 추정합니다.

p값이 작다는 것은 결과가 우연만으로 나타나기 어렵다는 뜻입니다. 마케터는 일반적으로 p값이 0.05보다 작으면 유의하다고 판단하는 기준을 사용합니다.

대부분의 A/B 도구는 원시 p값 대신 신뢰수준을 보고합니다. 신뢰수준 95%는 p값이 0.05보다 작은 경우에 해당합니다.

이는 실제로 아무것도 변하지 않았다면 이처럼 큰 차이를 볼 가능성이 약 5%뿐이라는 뜻입니다. 더 높은 신뢰수준을 얻으려면 더 많은 데이터가 필요합니다.

검정력은 실제 효과가 있을 때 실험이 그 효과를 감지할 가능성입니다. 검정력이 낮으면 실제로 우수한 변형안도 알아차리지 못하고 지나칠 수 있습니다.

표준 목표는 검정력 80%입니다. 검정력이 부족한 실험은 방문자 수를 낭비하고, 너무 일찍 결론을 내리고 싶게 만드는 불확실한 결과를 만듭니다.

최소 검출 효과, 즉 MDE는 실험에서 신뢰성 있게 포착하고 싶은 가장 작은 개선 폭입니다.

1%의 작은 상승폭을 감지하려면 10% 상승폭을 포착할 때보다 훨씬 많은 방문자 수가 필요합니다. 시작 전에 현실적인 MDE를 설정하세요. MDE가 필요한 표본 크기를 직접 결정합니다.

실험을 시작하기 전에 기준 전환율, 목표 MDE, 신뢰수준, 검정력을 표본 크기 계산기에 입력하세요. 그러면 각 변형안에 필요한 방문자 수를 알 수 있습니다.

그 수치를 미리 정하고 지키세요. B가 “이기는 것처럼 보인다”는 이유로 일찍 종료하는 것이 팀이 스스로를 속이는 가장 흔한 방법입니다.

결과를 반복해서 확인하다가 유의성이 나타나는 순간 멈추면 거짓 양성률이 크게 높아집니다.

결과를 확인할 때마다 무작위 잡음이 기준선을 넘을 기회가 한 번씩 더 생깁니다. 표본 크기와 기간을 미리 정한 다음 기다리세요. 처음으로 긍정적인 결과가 나왔다고 멈추지 마세요.

사용자 행동은 평일, 주말, 급여일에 따라 달라집니다. 월요일부터 수요일까지 진행하는 실험은 주말 쇼핑객을 완전히 놓칩니다.

각 변형안이 대표성 있는 방문자 구성을 경험하도록 최소 1~2회의 전체 주기 동안 진행하세요. 표본 크기와 기간은 모두 유효한 결과를 얻기 위한 조건입니다.

결과가 통계적으로 유의하더라도 비즈니스에 의미가 없을 정도로 작을 수 있습니다. 방문자 수가 매우 많으면 0.1%의 상승폭도 신뢰수준 95%에 도달할 수 있습니다.

항상 유의성을 효과의 크기 및 실질적인 가치와 함께 평가하세요. 이 상승폭이 변경을 정당화할 만큼 큰지 자문해 보세요.

신뢰 구간은 실제 효과가 있을 법한 범위를 보여 줍니다. +8%의 점 추정치라도 구간이 -1%에서 +17%라면 불확실합니다.

구간 전체가 양수로 유지되는 결과를 우선하십시오. 0을 가로지르는 넓은 구간은 변화가 정말 도움이 되는지 전혀 확신할 수 없다는 뜻입니다.

유의성에 대한 이해도를 확인해 보십시오.

유의성은 실제 효과와 무작위 잡음을 구분합니다. 95% 신뢰 수준과 80% 검정력을 목표로 하고, MDE를 설정한 다음 실험을 시작하기 전에 표본 크기를 계산하십시오.

중간 결과를 몰래 확인하지 말고, 전체 사업 주기를 실행하며, 유의성만이 아니라 효과 크기와 신뢰 구간을 기준으로 결과를 판단하십시오.