4月20日，字节跳动副总裁、算法和数据技术负责人杨震原介绍，A/B测试应用已在产品命名、交互设计、推荐算法、用户增长、广告优化和市场活动等方方面面的决策上应用，累计测试量超70万。目前，已通过火山引擎开放给企业客户。
最新数据显示，字节跳动每天同时进行的A/B测试达到上万场，单日新增实验数量超过1500个，覆盖400多个大大小小的业务。随着公司发展，这些数字还在不断扩大。截至今年3月底，字节跳动累计已经做了70多万次A/B测试。
杨震原首次揭秘了字节跳动如何使用A/B测试。A/B测试是指对不同策略进行对比实验，根据结果选择最优方案，最早被应用于医学领域，在互联网时代，A/B测试被谷歌等公司广泛使用在产品开发和运营中，有研究者也把A/B测试视为字节跳动快速增长的重要因素。
据悉，今日头条从成立之初就在做策略推荐类的A/B测试。2016年，字节跳动建立了支持大规模产品实验的A/B测试平台，之后陆续接入抖音、西瓜视频等全线业务，把A/B测试应用在产品命名、交互设计、推荐算法、用户增长、广告优化和市场活动等方方面面的决策上。
火山引擎是字节跳动旗下为企业服务的智能科技品牌，字节跳动的A/B测试工具也已通过火山引擎开放给企业客户。据相关产品负责人介绍，火山引擎A/B测试支持客户端、服务端、推送、网页、可视化建站等多种实验形式，具有功能全面、高度自动化的特点，操作非常简单，即使不会编程的人也能轻松做实验，而且有内容丰富的实验报表，可智能产出实验结论，让决策链清晰完备。
以悟空租车为例，该公司已通过火山引擎进行了70多次A/B测试，约有60%为正向实验，提升产品转换率约40%，以往需要一周时间的需求复盘数据分析，现在只要一天就能得到数据结论，更直观地量化了需求价值，极大地提升了效率。
不过，杨震原也表示A/B测试并不是万能的，它有很多局限性，比如提高商品推荐门槛、不推荐评分低的商品，如果做A/B测试，短期内交易量肯定会降低，但长期来看结论有可能逐渐反转，这是长周期影响和目标设定的问题。此外，独立的实验条件、统计置信度等问题都是做A/B测试需要考虑的。
文/北京青年报记者 温婧
编辑/樊宏伟
