【专题资料免费领】A/B实验与因果推断

【专题资料免费领】A/B实验与因果推断
2023年05月25日 12:59 DataFunTalk

导读:如何排除自然因素和其他干扰因素对产品的影响大小,互联网行业通用方法为 A/B 实验;但对于某些指标的流量无法满足或部分场景无法实现 A/B 实验时,统计学上的“因果推断”方法正成为互联网业务评估应用的新方向。

01

A/B实验与因果推断

A/B实验是金标准,能做A/B实验的场景肯定优先做A/B实验。这一点是大家一致认同的。

但通用的 A/B Test 也有一定的局限性,需要占用足量的随机流量,并且需要持续一段时间以收集数据,产品流量较小时,需要花一定的时间实现,比较耗费人力;鉴于 A/B Test 种种局限性,如何利用手边已有的历史数据进行 “因果推断”分析,也成为重要的方式。

因果的应用场景主要可以归纳为:预测和决策两类问题。

预测包括预测得更加准、更加稳、更加可解释。决策的问题,包括定价、物流、推荐、营销等。从业务的视角来看,其实就是一个典型的反事实问题,做了会怎样,不做会怎样。因为业界应用是有一些约束条件的,典型的比如金融有风险、营销有成本。在企业中就可以归结为做一些带约束的决策求解问题时,都是可以基于反事实的因果推断去优化。

但因果推断落地也有难点。

Validation是因果落地的最大障碍。因果其实是一个上帝视角,造物主视角。不能做实验,只能通过观测,把万事万物背后的机理、规律找到。找出来了之后,如何证明自己是对的是一个难题。因为因果的这种识别性很多时候依赖一些假设,但是这些假设是不是成立的,只能基于信仰,实际就是通过不可验证的假设来进行因果推断,某种意义上具有原罪问题。所以需要需要避免就因果谈因果。

其次,因果研究需要和业务做更紧密的结合,case by case的分析。因果推断更重分析,需要了解数据发生的过程。数据产生的过程不一样,数据、特征背后代表的意义也会不一样的。需要对业务有深入的了解。不像之前机器学习模型标准化得比较好,只要定义了什么Y,一堆X,套入模型就可以用,这种方式在因果研究中不work,需要专业人才,目前行业也比较缺乏相关人才。

另外,数据的问题也经常是困扰,因为实际已经难以获得RCT的数据,如何在实际环境中收集数据,以及如何把RCT数据和观测数据结合起来的问题, 如何将因果更加适应大数据场景的问题

解决的思路是从实用主义角度出发,究竟要用因果推断来做什么,不用搞出因果所有的链条。看对问题和业务有没有提升,如果有提升就是有价值的。需要把因果放到一个具体的场景、任务下来来谈。就因果谈因果是哲学家该做的,我们工程的需要解决实际问题。一个最常用的方法是用AB测试来做因果效果的评估。

02

A/B实验与因果推断专题资料

为了帮助大家更好地搞懂A/B实验与因果推断的核心技术点,利用二者驱动业务/用户增长,DataFun出炉了最新的电子书《AB实验平台》《因果推断案例集锦》

两本电子书的创作者们是来自抖音、快手、网易、滴滴、腾讯、阿里等互联网企业的数据科学家、数据产品经理、高级研发工程师等技术人员,分享了他们对因果推断和A/B实验在互联网应用观点和实践经验,以及如何用于真实业务场景,实现数据驱动决策的目的。

🎁电子书亮点:

1. 共29篇干货文章,超12万字详解,帮助读者厘清A/B实验与因果推断的关系、差异,搞懂二者的核心技术点

2. 大厂实践案例汇总,创作者们多为经验丰富的“老手”,多方观点/经验供你参考,快速攻克技术落地难点

🎁电子书领取方式:

1. 扫码关注本公众号,回复“515”

2. 根据海报提示参加活动,即可免费领取

扫码领书👇

🎁电子书目录:

《AB实验平台》电子书目录:

《因果推断案例集锦》电子书目录:

本文参考:

2. 一文讲清因果推断方法论,无法 AB 测试时分析的万能钥匙

(https://datago.love/shu-ju-fen-xi/you-zhi-yuan-chuang/yin-guo-tui-duan-fang-fa-lun-wu-fa-ab-ce-shi-shi-fen-xi-de-wan-neng-yao-shi/)

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部