围绕增长AB测试，分享要注意的五件事情

在成长工作中，AB测试可以说是一种被视为标准的方法，也是产品/操作学生的工具。工作更多地用于AB测试，但也有更多的经验教训和学习思考。本次分享实际使用AB测试中的5个关键问题，共同交流避坑。在AB测试中，对照组和实验组的样本量越大，实验时间越长，实验结果就越准确。这可以说是常识判断，但实际上是由统计显著性决定的:统计显著性是指对照组和实验组的数据差异可能是真实的，而不是随机误差造成的。因此，周期更长、样本量更多的AB测试更有说服力。然而，在实际工作中，产品或活动的迭代速度很快，这就要求AB测试的实验周期不能太长。因此，在AB测试之前估计样本的规模非常重要。计算样本量的方法有点复杂。对于多年来丢弃高数和概率论的农民工，建议向数据分析学生寻求帮助。在这个样本数量计算器中，输入原始版本的转化率(已知)，然后输入优化版本的转化率(预期)，同时设置显著的统计水平，一般达到95%以上就是显著差异。这样可以快速获得样本数量结果。如上图所示，如果原版转化率为10%，优化后的新版转化率预计为12%。AB测试时，每组用户样本数据达到2900以上，可以说明新版转化率明显不同，可信。在计算了估计的样本数量后，另一项重要的工作是估计实验周期。如果可信的AB测试每组实验需要2900个样本量，但我们的产品每天只有200个日常用户，分成两组后每组只有100个用户，则2900/100=29天，这意味着AB测试实验需要29天才能达到所需样本量。此时，有必要评估这个周期是否可接受。如果周期过长，则表明AB测试在现阶段不合适。2、测试结果分析样本规模的估计是在AB测试前进行的。由于优化版本的转换数据是估计的，样本量和实验周期都是估计数据，这有助于我们在AB测试前对测试样本和周期进行初步判断。实际AB测试实验结束后，还需要对实际结果数据进行统计显著性检验，确保对照组与实验组的数据差异显著可信。在此工具中，通过输入AB组的实际数据，可以清楚地看到两者转化率的差异和试验结果的统计显著结果。以上图为例，虽然B组的转化率高于A组，但由于样本量小，试验结果没有明显的统计差异，我们无法得出B组优化优于A组的结论。此时，有两种选择，一种是继续实验，积累更多的实验数据进行分析，另一种是放弃实验，得出结论，优化没有显著改进。这并不意味着继续实验会产生显著的差异。如果样本量继续增加，但转化率差异降低，这意味着需要更多的样本量。这种情况通常表明两个版本之间的差异很小，但也需要根据实际情况来判断是否需要停止AB测试。在AB测试中，通常有一个核心指标来判断实验结果，并有一些支持或辅助指标来更好地监测实验和分析结果。但不可忽视的是一些反向指标。什么是反向指标？反向指标是AB测试实验中可能产生负面影响的指标。举个简单的例子：为了提高新用户的注册率，AB实验过度包装了新版本中的新用户权益。虽然新用户注册率有所提高，但由于用户预期管理不足，新用户注册后发现实际新用户权益大大降低，对产品不满，导致新用户首次订单转化率下降。在这个实验中，新用户首单转化率是一个值得*的反向指标。为了实验的速度和效果，AB测试往往*少数关键流程节点和核心指标，但忽略反向指标有得不偿失的风险。4、辛普森悖论辛普森悖论是指在某些条件下，两组数据在讨论时会满足某些性质，但一旦合并考虑，可能会导致相反的结论。英国统计学家辛普森提出了这一理论。举个简单的例子，在新用户首购流程的AB测试实验中:第一天，A组转化率为10%(10/100)，B组转化率为12%(120/1000)。；第二天，A组转化率为15%(150/1000)，B组转化率为16%(160/1000)；分别看两天，B组的转化率高于A组。但总体而言，A组转化率为14.5%(160/1100)，B组转化率为14%(280/2000)；总数据A组的转化率高于B组。因此，在分析过程中无法直接判断实验结果。辛普森悖论的存在对AB测试、合理选择用户样本、监控调整样本量、综合数据分析等提出了更多的要求。例中分日和总数据结论相反的原因是第一天A组和B组的样本量差异很大。5、对于大量的产品和完善的增长团队，分层实验将同时进行多个AB测试，因此需要考虑分层实验。分层实验是指建立多个实验的分层结构，每层实验使用的流量，下一层实验可以继续使用。有些人不太容易理解。继续举个例子：以电子商务产品的新流程为例。新用户下载并打开应用程序后，主页上有一个新礼品包的入口。点击进入后，您可以查看新产品的权益和优惠产品。新用户在查看新产品后完成订单，这是新用户转型的基本途径。为了优化现有的新人转化流程，多个AB实验同时从新人礼包首页展示、落地页展示、新人商品详情页进行。在主页显示中，AB实验同时进行了按钮颜色和指导副本。为了确保变量的唯一性，按钮颜色实验中的其他内容，包括副本，完全相同，副本实验中的其他内容，包括按钮颜色，也完全相同。这需要将100%的流量分为两部分，假设每50%，即50%的用户进行按钮颜色实验（25%看到红色按钮，25%看到黄色按钮，两组文案一致），其余50%的用户进行文案实验（25%看到“权益收购”文案，25%看到“1元订单”文案，两组按钮颜色一致）。进入新人页面后，对权益展示的方式进行了AB实验。权益展示的AB实验从第一层(主页)的流量(100%)进行。第一层100%的流量刚刚进行了按钮颜色和文案实验。为了避免上层实验对权益展示实验的影响，上层流量应随机分配到权益展示实验的AB两组，即分层实验中的流量正交。上层流量分布均匀。分层实验在实际工作中很少见，但成熟的产品必须考虑到这种情况，才能在进行多个AB实验的同时更高效、更科学。分层实验在实际工作中很少见，但成熟的产品必须考虑到这种情况，以便在进行多个AB实验的同时更有效、更科学。团队还应保持沟通，避免单独进行实验，但不知道结果受到对方实验的影响，得出不恰当的结论。以上，就是关于AB测试的五个阶段分享，在以后的工作中，AB测试还会继续进行，新的问题还会出现。 

以上就是关于围绕增长AB测试，分享要注意的五件事情的相关介绍，更多围绕增长AB测试，分享要注意的五件事情相关内容可以咨询我们或者浏览页面上的推荐内容。我们将让你对围绕增长AB测试，分享要注意的五件事情有更深的了解和认识。