因果推断实验破解货拉拉双边市场业务难题_

导读货运行业的发展日新月异，双边市场性是货运行业的重要特征。在这个市场中，货主和司机通过平台进行连接，实现需求与供应的匹配。然而，这种模式也带来了一系列的实验挑战，如交易、价格、营销和产品场景中的问题。

在接下来的系列文章中，我们将深入探讨如何在实践中克服这些挑战，以实现更高效、更精准的货运双边市场实验。

本文将通过详细阐述这些挑战，以及针对这些挑战提出的技术方案，为读者深入理解货运双边市场实验的复杂性和解决之道提供指引。

01初识货运双边市场

02货运场景实验问题

03货运实验技术方案

04总结

分享嘉宾｜孙崇衍货拉拉数据科学团队

初识货运双边市场

与传统的一对一或一对多交易不同，货运行业展现了典型的双边市场特点，主要建立在连接撮合和网络效应之上。

连接撮合是指在这种市场结构中，货主作为需求方需寻找合适的车辆来运输货物；而司机作为供应方则等待有利可图的订单以提供服务。平台作为连接双方的桥梁，集合了分散的货主和司机，促进有效的交易，确保满足市场参与者需求，实现市场高效运作。网络效应指平台价值与规模成正比。例如，对货主而言，平台上司机增多意味着更大的运输选择；反之，司机在平台上有更多订单可获得收入。

此外，货运市场还涉及独特问题，如车货匹配。不同于客运，货运需要考虑多种车型与订单需求的匹配，为在货运双边市场实验带来挑战。在此系列文章中，我们将分享应对这些挑战的经验。

货运场景实验问题

2.1 交易场景

在货运行业的交易场景中，一大挑战来自传统个体分流方法（例如，基于订单ID或用户ID）的不适用性。这主要是因为在同一时间空间里，实验组和对照组的策略并行存在，造成了各组之间运力的互相竞争。

例如，拥有更优策略的实验组可能会“吸引”掉对照组中的运力，导致一个“优胜劣汰”的现象。这种现象违反了传统AB实验的基础假设——SUTVA（Stable Unit Treatment Value Assumption）。根据这一假设，每个实验单元（可以是订单、用户或其他因素，具体取决于实验设计）的结果不应受到其他实验单元的影响。因此，在如此复杂的交易场景下，实验结果容易产生偏误。

一个相关的衍生问题是多层实验的相互干扰。当大量实验同时进行而流量有限时，非个体分流会使得多层实验的正交性难以维持，进一步加大实验结果的复杂性和偏误。

2.2 价格场景

在货运行业中，价格场景相关的实验，如高峰服务费等，也面临着一系列挑战。首先，和交易场景一样，这些实验也需要面对运力竞争的问题。其次，个体差异化定价受到诸如政策和法规等外部因素的限制，这进一步增加了个体分流的难度。

当采用更粗颗粒度进行分流以降低实验偏差时，这通常会导致实验单元数的减少。虽然这种做法能减少某种程度的偏差，但它也不可避免地增加了实验结果的方差。具体来说，这可能会导致实验组之间的同质性难以维持，从而使得实验效果不易达到显著水平。

2.3 营销场景

在营销场景下，特别是在普遍补贴率相对较低的条件下，各实验组之间的用户特征和兑券依从率等因素存在显著差异。当这些大幅度的内部差异和理论上较小的实验效果相结合时，就容易导致实验结果不显著或甚至出现反常识的倒挂现象。解决这类问题需要采用科学的衡量方法来纠正潜在的偏误。

除此之外，营销场景下也常面临着全量干预的问题，如拉货节等大型促销活动。在这些情况下，往往没有设置实验组和对照组进行传统的AB实验，而只能依赖时序的观察性数据。如何从这种观察性数据中准确抽取因果关系，也成为了一个重要而具挑战性的任务。

2.4 产品场景

产品场景，主要涉及到App端和小程序端的功能改进和用户体验（UX）优化等方面的实验。这一类实验面临的主要挑战是，其涉及的指标不仅数量众多，而且很零散，此外，这些功能实验通常相对孤立，难以形成系统性的评估。

具体而言，当涉及多个页面和多个指标时，实验设计的复杂性急剧增加。这不仅涉及如何科学地定义和衡量实验效果，还需要解决如何在业务层面上合理解释这些复杂和多元的数据。这里的复杂性不仅是技术性的，也包括如何与业务目标和用户体验保持一致性。

因此，在产品场景下进行实验不仅要求精准的数据分析技巧，也需要跨部门的合作，以确保实验结果不仅科学，而且能够应用于实际业务决策。

货运双边市场的挑战总结

为了更直观地总结货运双边市场中的实验问题，我们将通过一张图来一目了然地展示这些挑战。

通过这张图，我们也希望能引导大家深入探讨这些复杂挑战的解决方案。

货运实验技术方案

对应以上四大挑战，我们提出了一套综合性的技术方案。该方案遵循四大原则，并结合多种方法，旨在实现清晰、科学、可解读的干预效果。

四大原则：

- 分流：实验分流要科学权衡

- 同质性：实验分组差异要小

- 效率：效率解读效率要高

- 非实验：非实验效果可衡量

3.1 实验分流

当面对个体分流不适用的问题时，我们采取了簇分流的策略。在这种方法中，实验参与者被划分到更粗粒度的单元（称之为“簇”）内，从而最大限度地减少了不同簇之间的相互干扰。这确保了簇内所有参与者受到相同类型的实验干预，有助于减少实验结果的偏差。

在选择簇的时候，我们会根据实验内容和目标进行全面评估。通常所选择的簇涉及多个维度，包括时间和空间，有时甚至会是时间和空间的复合组合。一个具体的例子是我们提出的先进实验方案：“城市群按天轮播”。这个方案结合了时间和空间的因素，以确保实验偏差降到最低，同时也降低了实验效果的方差，使得实验结果更为准确和灵敏。

在实验分流中，另一个关键策略是层间正交。为了确保不同实验之间的独立性，我们引入了个体层间正交和时间片层间正交这两种方法。具体操作上，我们在个体或时间片这两个层面设置多个层级，并通过级联的方式，将不同实验的流量均匀地组合在一起。

这些精心设计的分流策略使我们能够更有效地应对货运双边市场中的复杂挑战，从而得出更可靠和有实用价值的实验结果。

3.2 实验同质性

实验同质性是科学实验中一个不可忽视的要素。理想状态下，实验组和对照组在实验前应是完全同质和可比较的两组，以便确保观测到的任何指标差异都是由实验干预引起的。然而，在复杂的货运双边市场环境下，确保完全的同质性并不总是那么容易。

为了应对这一挑战，我们采用了多种方法来最大程度地确保群体的同质性。在实验前，我们通常进行AA测试和寻找最优分组方案来验证和保障群体的同质性。如果在实验后发现存在同质性的偏差，我们也有相应的修正措施。例如，我们会使用CUPED（Controlled Experiments Using Pre-Experiment Data）或DID（Difference-in-Differences）等统计方法，结合实验外的协变量信息，来校正这些偏差。

通过这一系列严谨的步骤，我们能更有效地控制实验中的变量，从而提高实验结果的准确性和可信度。