解读结果

测试结束后，请先查看您预先注册的唯一主要指标。这个单一数字决定胜出者。

请抵制在次要指标中寻找任何正向信号的冲动。挑选某个偶然的胜利来证明测试成功，正是团队说服自己的方式。

一张清晰的结果表会显示每个变体的访问者数量、转化次数、转化率、相对提升幅度和置信度。

请从上到下浏览表格。在庆祝任何提升之前，请确认样本量均衡，并确认置信水平达到您的阈值。

每项测试最终都会得到胜出、失败或无法确定的结果。这三种结果都有价值。

胜出结果告诉您应该发布什么。失败结果告诉您应该避免什么。无法确定的结果说明，即使存在效果，凭借您的流量也太小而无法检测出来。

结果持平并不意味着测试白费了。它排除了一个假设，也让您避免上线一个毫无作用的变化。

请把无法确定的测试视为证据。可能是您的变化过于细微、流量过低，或者您的洞察有误。每一种情况都会告诉您下一步该从哪里寻找答案。

在发布胜出方案之前，请确认护栏指标没有朝不利方向变化。如果退款或流失率激增，注册量的提升就没有多大意义。

真正的胜出应当在改善主要指标的同时，不损害下游业务的健康状况。

整体持平的结果可能掩盖不同细分群体中的相反效果。这个变体可能在移动设备上胜出，却在桌面设备上失败，最终效果为零。

请按设备、流量来源，或新用户与回访用户进行结果拆分，但要把细分群体的发现视为新的假设，而不是已确认的胜利。

把数据切分成许多细分群体，会增加您在某处找到虚假胜出结果的概率。测试足够多的子群体后，其中一个因偶然而呈现显著结果是必然的。

如果某个细分群体看起来很有希望，请先用一次全新的专门测试进行验证，然后再据此行动。绝不要仅凭事后切分出的结果上线。

请将百分比提升转化为业务语言。17% 的相对提升听起来很不错，但利益相关者关心的是收入。

请将新的转化率乘以您的流量和平均价值，以预测年度影响。这个数字会推动上线决策和路线图规划。

请在共享日志中记录假设、结果、置信度、效果大小和决策。过去的测试构成了知识库，可以避免重复走入死胡同。

请与团队分享成功和失败，让洞察在整个实验项目中不断积累。

在测试中胜出，并不能保证在生产环境中获得同样的提升。全面 rollout 后，请监控该指标几周。

新鲜感效应、季节性和实现错误都可能削弱结果。在计入预测收入之前，请确认胜出效果能够持续。

优化是一个循环，而不是一次性工作。每个结果，无论成功还是失败，都应当催生下一个假设。

一个成功的风险逆转徽章可能启发您测试更有力的保障承诺。一个失败的布局则会把您指向别处。持续实验会将小幅收益不断积累成巨大的成果。

请根据预先注册的主要指标来评判测试，并在上线前检查护栏指标。无法确定的结果同样能带来学习。

请谨慎进行细分而不要碰运气，将提升转化为业务影响，记录每项测试，在生产环境中验证胜出结果，并将每个结果用于下一次实验。