무엇을 테스트할까요

거의 무엇이든 실험할 수 있지만 실험 시간과 방문자 수는 제한되어 있습니다. 현명한 마케터는 호기심이 아니라 잠재적인 영향도를 기준으로 실험을 선택합니다.

좋은 실험은 많은 사용자에게 영향을 주면서 매출에 가까운 페이지나 단계를 대상으로 합니다. 방문자 수가 적은 페이지에서 버튼 색상을 실험하는 것은 얻는 정보가 적은데도 몇 주를 낭비하게 합니다.

돈이 흐르는 곳에서 시작하세요. 전환 과정을 그려 보고 이탈이 가장 크면서 방문자 수도 가장 많은 단계를 찾으세요.

월 방문자가 10,000명이고 이탈률이 40%인 결제 페이지는 아무도 불만을 제기하지 않는 감사 페이지보다 훨씬 좋은 실험 대상입니다.

가장 큰 성과는 대개 사소한 수정이 아니라 가치 제안, 제목, 제안, 페이지 구성에서 나옵니다.

제목이나 가격을 제시하는 방식을 바꾸면 전환율이 두 자릿수로 달라질 수 있습니다. 글꼴을 바꾸는 것으로는 그런 변화가 거의 일어나지 않습니다. 큰 영향 요소를 모두 시도한 후에 미세 실험을 진행하세요.

아이디어를 그룹화하여 눈에 잘 띄는 부분뿐 아니라 전체 사용자 경험을 다루세요.

일반적인 범주는 메시지(제목, 문구), 제안(가격, 묶음 상품, 보장), 구성(첫 화면 배치 순서), 사회적 증거(후기, 로고), 마찰(양식 입력란, 단계)입니다.

추가 입력란, 클릭, 방해 요소 하나하나가 전환을 떨어뜨립니다. 마찰 실험은 사용자가 해야 할 일을 줄이므로 성공할 가능성이 높습니다.

가입 양식의 입력란을 7개에서 3개로 줄이거나 강제 회원가입을 없애면 명확하고 반복적으로 전환이 상승하는 경우가 많습니다.

간단한 체계를 사용해 실험 아이디어 목록의 우선순위를 정하세요. ICE는 각 아이디어를 영향도, 확신도, 용이성 측면에서 1점부터 10점까지 평가합니다.

세 점수의 평균을 계산하세요. 점수가 가장 높은 아이디어부터 진행합니다. 이렇게 하면 팀이 의견을 두고 다투는 일을 줄이고 예상 가치를 높이는 데 집중할 수 있습니다.

가장 좋은 실험 아이디어는 아이디어 회의가 아니라 데이터와 사용자 조사에서 나옵니다. 세션 녹화 영상을 보고, 고객 지원 요청을 읽고, 분석 데이터를 살펴보세요.

사용자가 배송 단계에서 계속 이탈한다면 그것이 신호입니다. 근거에 기반한 실험 아이디어는 추측보다 더 자주 좋은 결과를 냅니다.

결과의 원인을 파악하려면 A/B 실험에서 한 번에 의미 있는 요소 하나만 변경하세요. 제목, 구성, 가격을 함께 바꾸면 성공하더라도 무엇 때문에 성공했는지 알 수 없습니다.

여러 요소를 한꺼번에 실험해야 한다면 다변량 실험을 사용하세요. 단, 방문자 수가 충분할 때만 진행해야 합니다.

끝없이 사소한 부분만 수정하면 국소 최댓값에 갇힐 수 있습니다. 때로는 훨씬 높은 정점을 찾기 위해 과감하고 전면적인 재설계가 필요합니다.

로드맵의 균형을 맞추세요. 대부분은 안전한 점진적 실험으로 구성하고, 성과를 한 단계 크게 높일 수 있는 대담한 실험도 가끔 포함하세요.

방문자 수가 적은 페이지에서는 합리적인 시간 안에 작은 효과를 감지할 수 없습니다. 방문자가 적을 때는 큰 상승을 일으킬 것으로 예상되는 변경만 실험하세요.

미세한 최적화는 방문자 수가 가장 많은 페이지를 위해 남겨 두세요. 그런 페이지에서는 작은 차이를 명확히 확인할 만큼 충분한 데이터를 수집할 수 있습니다.

실험 아이디어와 ICE 점수, 해결하려는 문제, 변화시켜야 할 측정항목을 계속 업데이트되는 목록으로 관리하세요.

이 작업 목록은 최적화를 무작위 일회성 실험이 아니라 꾸준한 실험 흐름으로 바꾸며, 이해관계자에게 추론 과정을 투명하게 보여 줍니다.

영향도, 방문자 수, 매출과의 근접성을 기준으로 실험의 우선순위를 정하세요. 미세한 수정에 앞서 가치 제안, 제안, 마찰과 같은 큰 영향 요소부터 시작하세요.

아이디어를 실제 데이터에 근거하고, ICE로 점수를 매기며, 한 번에 하나의 변수만 변경하세요. 또한 우선순위가 정해진 작업 목록을 유지하여 최적화를 체계적인 실험 흐름으로 관리하세요.