A/B测试探索2:大有可为的A/A测试

A/A测试是A/B测试的衍生产品。但是不同的是,我们不是比较两个不同的版本,而是比较两个相同的版本。

A/A测试的主要目的很简单:验证A/B测试解决方案是否已正确配置且有效。

在做A/B测试的时候,经常会出现收集的数据不具备有效评估的情况,这里面大部分的原因是因为实验组和控制组的用户构成产生了偏移,导致两组之间的数据天然不具备对比性。为了尽量避免这个问题的发生,我们经常要引入A/A测试来矫正这个问题。目前在3个阶段可以进行干预:事前、事中、事后。


事前规避:自动AA分组工具

在实验前,我们通过AA分组,找出无差别的实验组和对照组,作为我们实验分流配置的依据,这种分流方式要求我们要有一套完整刻画流量因子的指标体系,只要刻画流量因子的指标间无统计显著性,我们就认为分出的实验组和对照组无差别。当然,我们也希望上线前实验组和对照组的差别尽量得小,这样我们就可以利用优化算法进行迭代来解决AA分组效率的问题。


事中验证:AABB实验

如果我们要做AB测试,就需要AB两个分桶流量中的用户分布是一致的,但是这种情况很难得到保证,即使在实验开始之前我们能够准确的划出2个等分布的桶出来,在实验过程中也还是可能会导致用户的分布产生变化。
AABB实验是在AB实验基础上衍生出来的一类交叉验证实验,能够给我们提供更多的实验信息。


事后修正:diff-in-diff修正

comments powered by Disqus