결과 읽기

실험이 끝나면 사전에 등록한 하나의 주요 지표부터 확인하십시오. 그 하나의 숫자가 승자를 결정합니다.

긍정적인 신호를 찾겠다며 보조 지표를 뒤지는 유혹을 뿌리치십시오. 우연히 나온 작은 성공 하나를 골라내는 것이 바로 팀이 변화 없는 실험을 성공했다고 믿게 되는 이유입니다.

깔끔한 결과 표에는 각 변형의 방문자 수, 전환 수, 전환율, 상대적 상승폭, 신뢰 수준이 표시됩니다.

표를 위에서 아래로 살펴보십시오. 어떤 상승폭을 기뻐하기 전에 표본 크기가 균형을 이루는지, 신뢰 수준이 기준을 충족하는지 확인하십시오.

모든 실험은 승자, 패자 또는 결론을 내릴 수 없는 결과로 끝납니다. 세 가지 모두 가치 있습니다.

승자는 무엇을 출시할지 알려 줍니다. 패자는 무엇을 피해야 하는지 알려 줍니다. 결론을 내릴 수 없는 결과는 효과가 있다 해도 현재 유입량으로는 감지하기에 너무 작았다는 뜻입니다.

변화가 없는 결과도 낭비된 실험이 아닙니다. 하나의 가설을 배제하고 아무 효과도 없는 것을 출시하지 않도록 막아 줍니다.

결론을 내릴 수 없는 실험도 근거로 받아들이십시오. 변화가 너무 미미했거나, 유입량이 너무 적었거나, 통찰이 틀렸을 수 있습니다. 각각의 결과는 다음에 어디를 살펴봐야 하는지 알려 줍니다.

승자를 출시하기 전에 안전 지표가 잘못된 방향으로 움직이지 않았는지 확인하십시오. 가입률이 올랐더라도 환불이나 이탈률이 급증했다면 의미가 적습니다.

진정한 성공은 후속 사업 건전성을 해치지 않으면서 주요 지표를 개선합니다.

전체적으로 변화가 없는 결과도 서로 다른 사용자 집단에서 반대되는 효과를 숨길 수 있습니다. 변형이 모바일에서는 이기지만 데스크톱에서는 져서 합산 결과가 0이 될 수 있습니다.

기기, 유입 경로, 신규 사용자와 재방문 사용자 여부에 따라 결과를 나누어 보십시오. 단, 집단별 결과는 확정된 성공이 아니라 새로운 가설로 다루어야 합니다.

데이터를 여러 집단으로 나누면 어딘가에서 가짜 승자를 찾을 가능성이 커집니다. 하위 집단을 충분히 많이 확인하면 그중 하나는 우연히 유의해 보이게 됩니다.

어떤 집단이 유망해 보인다면 그 결과를 근거로 행동하기 전에 새롭고 별도의 실험으로 검증하십시오. 사후적으로 나눈 집단 결과만을 근거로 출시해서는 안 됩니다.

상승률을 사업적 의미로 바꾸어 생각하십시오. 상대적 상승폭 17%는 대단해 보이지만, 이해관계자가 관심을 두는 것은 매출입니다.

새로운 전환율에 유입량과 평균 가치를 곱해 연간 영향을 추정하십시오. 그 숫자가 출시 여부와 로드맵을 결정합니다.

가설, 결과, 신뢰 수준, 효과 크기, 결정을 공유 기록에 남기십시오. 이전 실험은 막다른 길을 반복하지 않게 해 주는 지식 저장소입니다.

성공과 실패를 모두 팀과 공유하여 전체 실험 프로그램에서 통찰이 축적되도록 하십시오.

실험에서 이겼다고 해서 실제 운영 환경에서도 같은 상승폭이 보장되는 것은 아닙니다. 전체 사용자에게 적용한 뒤 몇 주 동안 지표를 모니터링하십시오.

신기성 효과, 계절성, 구현 오류가 결과를 약화시킬 수 있습니다. 예상 매출을 확정하기 전에 성공이 유지되는지 확인하십시오.

최적화는 일회성 작업이 아니라 반복 과정입니다. 성공이든 실패든 모든 결과에서 다음 가설을 도출해야 합니다.

위험 부담을 덜어 주는 배지가 성공했다면 더 강력한 보장을 시험해 볼 수 있습니다. 실패한 화면 배치는 다른 방향을 가리킵니다. 지속적인 실험은 작은 개선을 큰 성과로 누적합니다.

사전에 등록한 주요 지표를 기준으로 실험을 판단하고, 출시하기 전에 안전 지표를 확인하십시오. 결론을 내릴 수 없는 결과도 여전히 배움을 줍니다.

억지로 집단별 결과를 찾지 않으면서 신중하게 결과를 나누고, 상승폭을 사업적 영향으로 바꾸어 생각하며, 모든 실험을 기록하고, 실제 운영 환경에서 성공을 검증한 뒤, 각 결과를 다음 실험에 반영하십시오.