随机对照实验(Randomized Controlled Trial,简称RCT)是一种常用科研方法,主要的思路是将研究对象随机分组,施加不同的干预措施,然后观察对比干预措施的效果如何。 随机对照实验最主要的贡献在于随机分组保证了控制和实验组除了干预措施以外没有其他统计学上的差异,因此实验后控制和对照组结果的不同是由于施加了不同的干预,由此实现对因果关系的识别。
随机对照实验已经成为经济学研究的主流方法之一。2019年,诺贝尔经济学奖共同授予了Abhijit Banerjee,Esther Duflo与Michael Kremer三人,以表彰他们采用随机对照实验对解决贫困问题做出的卓越贡献。在经济学研究中,随机对照实验已经广泛应用于研究教育、健康、消费、信贷等各种问题。
准随机实验(Quasi-experiment)与随机对照实验不同,实验对象由于种种限制无法被随机分配至控制组和实验组。相较严格的随机对照实验,虽然准随机实验信度降低,但可以在更接近现实的条件下进行因果分析。通过恰当的实验设计或情景选择,研究者可以运用统计学方法对可能影响控制和实验组的因素进行控制和检验,由此实现因果关系的识别。
准随机实验也是经济学研究的重要方法之一。2021年,诺贝尔经济学奖共同授予了Joshua D. Angrist和Guido W. Imbens以表彰他们对自然实验因果分析方法论的贡献以及David Card运用实验方法对劳动经济学的贡献。在经济学研究中,准随机实验和自然实验可以基于现实中政策变化和人为设置的截点和阈值等进行实验设计,广泛应用于研究最低工资、移民、教育、健康等各种问题。
1.厘清因果关系
随机对照实验通过对实验对象的随机分组实现变量的控制,厘清干预和结果的因果关系。通过多次实验结果的累积可以帮助政策制定者了解实际情况,并提出行之有效的政策建议。
2.确保政策有效性
直接大规模导入公共政策可能对经济生活产生深远的影响,基于行为科学方法论先开展小规模的随机对照实验可以辅助政策设计。
3.避免政策产生反效果
行为科学研究可以帮助政策制定者理解人们的行为模式和决策机制,避免好的政策导致事与愿违的结果。
4.实现事半功倍的政策效果
与基于物质激励的传统公共政策不同,基于行为科学研究的公共政策借助“助推”改变人们的行为,可以在极低成本下获得显著的政策效果。
5.提升政策实施效率
行为科学研究可以改进政策传导机制,提升政策交付链上下层级的沟通和交互效率,保证政策有效落地。
对于公共政策,随机对照实验可以用于前期的政策制定期,中期的政策实施期和后期的政策评估期,为提升公共政策效率提供思路和支持。
提出想要解决的公共问题、针对政策实施中遇到问题的解决方案或政策评估和改进的需求。
确保控制组策略的有效性和实验规模能够得出统计显著的数据,确保随机抽样的有效性,抽样的实验对象需能代表该政策面向的所有对象。
确保随机分组的有效性,实验过程中需注意观测实验环境的变化。
数据分析时需注意纳入所有可能影响实验结果的控制变量,并确定是否需要进行更多政策实验。
根据实验结果判定该政策的普适性或特殊性,平衡实际政策的效果与实施难度。
可以将政策导入本身作为一次实验,观察先导入的人群或地区是否达到了预期的效果,据比调整后续的策略。
1.厘清因果关系
随机对照实验通过对实验对象的随机分组实现变量的控制,厘清干预和结果的因果关系。
2.确保产品和策略有效性
直接在实际商业场景大规模导入新产品(或策略)具有较大不确定性,基于行为科学方法论先开展小规模的随机对照实验可以辅助企业的产品和策略设计。
3.提升产品和策略的性价比
小规模的随机对照实验成本低、易于实施,可以精确针对不同结果变量(销量、点击量、营业收入、利润等)进行干预,实现较高的成本-收益比。
4.助力成本收益分析
对随机对照实验结果进行量化分析可以帮助企业对产品和策略进行成本收益分析,提高经营效率。
5.提升内部管理能力
行为科学研究可以改进企业内各部门和层级间传导机制,提升产品交付链上下层级的沟通和交互效率,保证产品(或策略)有效落地。
企业根据不同的目标和策略需要采取不同的实验设计。
1.实验室
实验室环境下的实验可以最精准地识别因果关系,但由于环境较为严格,难以还原企业的真实商业环境,导致外部有效性可能不足。
2.实地实验
实地实验可以在真实的商业场景下进行,但严格的随机抽样难以实现,实验结果分析需要专业统计学知识和较大的数据量。
3.AB Test
AB Test是“性价比”较高的实验方式,可以借助已有的线上平台对参与人进行随机分组并施加简单的干预,但线上环境难以还原真实的互动场景,对某些策略和产品适用性较弱。
企业决策中运用随机对照实验的步骤如下:
确保问题清晰、可以被检验,并且能够以此为基础形成具体的行动。
确保控制组策略的有效性和实验规模能够得出统计显著的数据,抽样的实验对象需能代表该产品(或策略)面向的所有对象。
确保随机分组的有效性,实验过程中需注意观测实验环境的变化。
数据分析时需注意纳入所有可能影响实验结果的控制变量,并确定是否需要进行更多实验。
根据实验结果判定该产品(或策略)的普适性或特殊性,平衡实际行动的效果与实施难度。
可以将实际行动本身作为一次实验,观察先投放的市场是否达到了预期效果,据此调整后续的策略。
总结归纳实验案例和结果,形成实验案例库。