共计 10 篇文章

随机化实验 vs 观察性研究:你该知道的统计学思维

这两类都是因果推断的方法。 观察性研究又分为两部分:一部分是简单的抽样调查(如国民经济的预算),这部分只关心均值方差、分位数、相关性;另外一部分是狭义的观察性研究,是指从没有随机化的研究中进行因果推断。 随机化研究是比较理想的状态,可以随机地分配到处理和对照组上,分配的机制是完全已知的、可以确定的。 这首先是因为观察性研究的重要问题是混杂,相关关系完全可能是由于潜在的观察不到的z导致的;而对于随机 ...

合成控制法方法论探索

为解决网络效应对实验数据的干扰和对实验结果的评估,探探实验平台引入了区域全量实验来进行策略的小流量实施。但是区域全量实验存在一个明显的问题,不存在一个可直接对比的控制组。目前AB平台目前使用的控制组是剔除实验区域后的剩余区域均作为控制组来进行对比。 为了更好地去评估这类实验的效果,需要构建合理的控制组。目前比较前沿的主流方法是合成控制法(Synthetic Control Method,SCM) ...

A/B测试:实验设计的问题

你必须有一个好的实验设计才能得到可发表的结果。 设计实验时,你需要决定: 你的假设或研究的问题是什么? 你的实验目的是什么? 达到你的实验目的的最好的方法是什么? 你是否有需要的资源来执行你的实验方法? 你将使用哪些阳性和阴性对照? 你是否已经取得必要的伦理和监管的批准?例如,如果你要用动物做实验,你可能需要获得你所在机构的审查委员会的批准。如果你要发表有关的临床试验,那么你需要在临床试验注册中心 ...

合成控制法:只有一个实验对象的政策评价方法

合成控制法简介 合成控制法最开始是经济学家用来研究评估某个政策实施在某国家或地区的效果,原理即是反事实框架,假想该地区没有受政策干预会怎样,并与事实上受到干预的结果做对比。 合成控制法(Synthetic Control Method, 简称 SCM) 首次由 Abadie and Gardeazabal (2003) 创立以研究西班牙巴斯克地区恐怖活动的经济成本。该方法的基本原理是:选取特定的 ...

A/B测试探索2:大有可为的A/A测试

如果每件事都是发生在对照组(Control),那么你在运行A/A测试。 ---Ronny Kohavi 运行A/A测试是建立实验平台可信赖度的核心步骤。 A/A测试是A/B测试的衍生产品。但是不同的是,我们不是比较两个不同的版本,而是比较两个相同的版本。 A/A测试的主要目的很简单:验证A/B测试解决方案是否已正确配置且有效。 在做A/B测试的时候,经常会出现收集的数据不具备有效评估的情况,这 ...

规模化产出指标的思路之一

需求背景 自定义指标功能初期上线时,直接从埋点底层表进行数据获取,整体运行效率比较低。当实验组数较多且添加的自定义指标个数也比较多的时候,任务数量会暴增,会出现集中阻塞平台统计任务的情况,导致平台整体的数据产出延迟,同时如果在排队阶段也会影响线上服务的提供(主要是可用流量计算的功能)。 目前需要针对这个问题,输出相应的解决方案,整体的方向为: 结合用户在平台设置的自定义指标配置信息,构建中间层,将 ...

A/B测试探索0:统计学原理梳理

A/B测试概念简单概括就是,将用户分为两组,一组使用旧产品(或旧功能),一组使用新的。然后对比两个用户组,通过数据来分析,新的功能究竟是好是坏。没错,就跟小学的时候做的那些有控制组、实验组的自然科学实验一样一样的。 A/B测试背后的原理是统计学经常会用到的一种方法论--假设检验。 做假设检验之前我们来看做一定的假设。 1、A版本和B版本是独立的 2、A版本、B版本的数据在样本量足够大的时候服从正 ...