가설 세우기

실험 아이디어는 단순한 추측입니다. 가설은 이유와 예상 결과를 더해 아이디어를 검증 가능한 예측으로 바꿉니다.

“새로운 제목을 시도해 봅시다”는 아이디어입니다. “방문자가 가치를 이해하지 못하기 때문에 혜택을 강조한 제목이 가입을 늘릴 것입니다”는 실제로 평가할 수 있는 가설입니다.

강력한 가설은 세 부분으로 구성됩니다. 변경 사항, 예상 효과, 그리고 이를 입증하는 측정항목입니다. 재사용할 수 있는 문장이 모두가 원칙을 지키게 합니다.

변형안을 만들기 전에 각 대괄호를 구체적이고 측정 가능한 내용으로 채우세요.

가장 좋은 가설에는 변경의 근거가 포함됩니다. “왜냐하면”이라는 부분은 실험을 실제 사용자 행동과 연결하게 합니다.

서식을 다음과 같이 확장하세요. “우리는 [변경 사항]이 [효과]를 일으킬 것이라고 믿습니다. 그 이유는 [인사이트]이며, [측정항목]으로 측정합니다.” 이렇게 하면 실패한 실험도 단순히 실망스러운 결과가 아니라 유용한 정보를 제공합니다.

설문조사 데이터에서 사용자가 가격 정책을 신뢰하지 않는다는 사실이 드러났다고 가정해 보세요. 보장 내용을 추가하기로 결정합니다.

서식을 따르면 가설이 자연스럽게 완성됩니다. 변경 사항, 효과, 측정항목이 모두 얼마나 구체적인지 확인해 보세요.

“참여도”나 “더 나은 성과”처럼 모호한 측정항목은 명확하게 측정할 수 없습니다. 변경 사항과 직접 연결되는 주요 측정항목 하나를 선택하세요.

변경 사항이 결제 페이지에 적용된다면 주요 측정항목은 대개 페이지 조회수나 사이트 체류 시간이 아니라 결제 완료율 또는 구매율입니다.

승자를 정할 때 사용할 주요 측정항목 하나와 의도하지 않은 피해를 포착할 보호 지표를 함께 추적하세요.

양식을 줄여 가입은 늘었지만 이후 잠재고객 품질이 급락한다면 보호 지표가 잘못된 승리를 잡아낸 것입니다. 시작하기 전에 두 지표를 모두 정의하세요.

실험 가능한 가설은 방향(상승 또는 하락)과 가능하다면 대략적인 규모도 예측합니다. “전환율이 개선될 것입니다”는 약하지만, “전환율이 최소 10% 상승할 것입니다”는 명확합니다.

예상 효과의 크기를 정하면 실험에 필요한 방문자 수를 계획하는 데도 도움이 됩니다.

모든 가설에는 분석 데이터, 히트맵, 설문조사, 고객 지원 요청 또는 이전 실험과 같은 근거 출처를 명시해야 합니다.

변경 사항이 효과가 있을 것이라고 생각하는 이유를 뒷받침할 근거를 제시할 수 없다면 그 아이디어는 추측입니다. 근거에 기반한 가설은 더 자주 성공하며, 실패하더라도 더 많은 것을 알려 줍니다.

좋은 가설은 틀렸음이 입증될 수 있어야 합니다. 어떤 결과가 나와도 생각을 바꿀 수 없다면 그것은 가설이 아니라 의견입니다.

어떤 결과가 나오면 변경 사항을 기각할지 미리 정하세요. 이렇게 하면 결과가 변화가 없거나 부정적일 때 사후에 합리화하는 일을 막을 수 있습니다.

실험을 시작하기 전에 전체 가설, 주요 측정항목, 보호 지표, 예상 효과를 작성하세요. 결과를 나중에 다르게 해석할 수 없도록 내용을 확정하세요.

사전 등록은 유리한 결과만 골라내는 일을 막고 실험 체계의 신뢰성을 유지해 줍니다.

같은 아이디어의 두 가지 버전을 비교해 보세요. 약한 버전은 실험할 수 없고, 강한 버전은 구체적이며 근거가 있고 측정 가능합니다.

변형안에 대한 작업을 시작하기 전에 모든 약한 가설을 강한 형태로 발전시키도록 팀을 훈련하세요.

어떤 선택지가 가장 강력한 가설일까요?

다음 서식을 사용해 아이디어를 예측으로 바꾸세요. 우리는 [변경 사항]이 [효과]를 일으킬 것이라고 믿습니다. 그 이유는 [인사이트]이며, [측정항목]으로 측정합니다.

구체적인 주요 측정항목 하나와 보호 지표를 선택하고, 방향과 규모를 예측하세요. 근거에 기반하고 반증 가능하게 만들며, 시작 전에 문서화하세요.