黑芝麻智能端到端算法参考模型公布，一文了解技术亮点

最近一两年，“端到端”是自动驾驶领域最热门的话题，不管是整车企业还是自动驾驶公司，开发布会几乎言必提“端到端”，整个行业进一步拥抱AI技术。

自动驾驶系统是一个软、硬件高度耦合的系统，当软件算法跨入端到端的时代，如何在不同算力的芯片都能够发挥出足够好的性能？

作为智能汽车计算芯片的引领者，黑芝麻智能从成立之初就意识到了软硬一体的重要性，在开发芯片的同时也组建团队对智驾算法进行研究，保证产品能够满足当下和未来数年的算法发展需求。

黑芝麻智能计划推出支持华山及武当系列芯片的端到端算法参考方案。该方案采用One Model架构，并在决策规划单元引入了VLM视觉语言大模型和PRR行车规则的概率化表征子模块，进一步提升了智驾系统的决策规划能力。

该方案分为标准版和高阶版两个版本。前者在单颗武当C1200家族中算力平台上即可部署，而后则可在即将推出的华山A2000家族中发挥全部实力。

一、采用One Model架构 最大化信息传递

现阶段量产的端到端系统，相当一部分采用了分段式架构，即将端到端系统分成几个不同的模块级联而成。虽然这些模块也使用AI模型进行工作，但各模块之间仍存在人为定义的接口来传输数据，这就必然导致有一定的信息损失，加上不同模块经常采用独立训练的模式，其效果并非全局最优。

黑芝麻智能的端到端智驾系统，一步到位采用了One Model的架构。一端可输入摄像头、激光雷达、4D毫米波雷达、导航地图等信息，另一端直接输出驾驶决策所需要的信息，即本车的预期轨迹。

端到端的总体架构

具体到模型内部，其可以分为BEV编码器和决策（轨迹预测）两个神经网络单元。

BEV编码的工作过程中，车外摄像头或 激光雷达、4D 毫米波雷达等各类传感器的数据进入 ResNet 和 FPN 等主干网络，提取并融合多层特征，生成多尺度特征金字塔。经过几何变换，特征图对齐成俯视视角（BEV），实现统一的空间表示。

随后，系统通过多尺度时序聚合将当前与历史 BEV特征融合，减少噪声干扰，增强动态物体感知精度和系统鲁棒性，最终生成特征图（Feature Maps）传递至决策单元，用于生成车辆的预期行驶轨迹。

BEV和决策两个神经网络单元之间传递的是特征图(Feature Maps)。由于这些基础特征图没有人为定义的接口和处理过程，所以信息可以更为原始和完整地传递，以便于网络进行优化和决策。

与此同时，用Feature Maps将两个单元进行连接，还可以以back-propagation反向传播的方式——即通过计算最终输出的轨迹与实际目标之间的误差，然后将该误差反向传播到决策和BEV单元——来进行两个神经网络单元的联合训练和参数调优。

通过前面的分析可以看出，黑芝麻智能的One Model架构既解决了多模块之间可能存在的信息传递损耗问题，又实现了感知和决策单元的联合训练，实际效果会更佳优秀。

二、决策单元引入多源输入 提升轨迹预测准确性

在此基础之上，黑芝麻智能团队还更进一步，通过引入VLM（视觉语言大模型）和规则的概率化表征（Probabilistic Representation of Rules，以下简称 PRR）两个模块，来进一步提升端到端系统决策的准确性和灵活性。

VLM 模型基于开源 VLM 模型改进而来，该模型可同时接收图像和语言输入信息（比如用户的导航指令），然后通过 Transformer 结构中的交叉注意力机制将视觉和语言两种模态的信息相互关联，从而让模型更深层地理解当前的场景，并以符号特征的形式，将对于场景的理解输入到决策单元中。

例如，当系统识别到行人在斑马线上移动的视觉信息，VLM 可以通过语言规则的匹配，理解这个场景是“行人在过马路”，并且知道此时应该停车或者减速——将这种信息传递给轨迹预测模块，显然能够帮助其做出更加正确的驾驶决策。

除了有 VLM 子模块的帮助，决策单元还有行车规则的概率化表征模块（PRR）提供信息。

规则的概率化表征模块

该模块用于将人类的驾驶常识和交通规则转化为自动驾驶系统可理解的概率分布，再通过概率化轨迹采样生成符合交通规则的候选轨迹，并为每个选项赋予相应的概率权重。例如，在交叉路口，系统可以生成“等待”“缓慢通过”等符合规则的选项，并赋予相应的优先级。

此外，该模块还包含规则的语言描述部分，将交通规则和驾驶指令编码为语义特征，使其能够被决策模块理解和应用。例如，红灯停车或右转让行的规则会生成特定语义向量。

PRR输出的两种信息均会进入到决策单元，与BEV单元输出的特征图、VLM输出的场景理解特征互相融合，最终生成一条最佳的目标行驶轨迹。

最后补充一点，VLM和PRR模块本质上是端到端系统的增强型“外挂”，它们额外引入了类人的对于场景的综合理解能力，以及常识和交规的语义表征，从而在扩展轨迹决策能力的同时维持了端到端系统的整体工作原理， 其本质上相当于一个功能增强了的One Model架构。

三、用扩散模型生成轨迹，应对不同环境

介绍完各个单元和模块后，我们再来重点看一下这套端到端系统的核心——决策部分，到底是如何进行轨迹预测的。

这里主要使用了扩散模型这种生成式模型。工作时，系统会首先生成多个可能的候选轨迹，然后通过逐层多次去噪筛选出最优轨迹。例如，在行驶过程中，如果系统预测到前方车辆可能变道，扩散模型会生成多个候选路径，并在去噪过程中逐步排除高风险的路径，确保最终选择一条安全的行驶路径。

基于扩散模型的轨迹预测模块

这种轨迹生成方法具备多种优势。首先，扩散模型采用逐步迭代的去噪过程，每一步都对预测进行细化，从而逐渐优化输出。相比于传统一次性生成结果的模型，扩散模型能够更精细地控制输出，使轨迹预测更加平滑和自然。这一特性尤其适用于动态环境中的轨迹预测，确保模型在复杂场景中生成的路径符合实际行驶需求。

其次，扩散模型的核心设计是去噪。这使其在面对噪声数据或带有随机扰动的输入时，依然能够稳定地生成合理的轨迹，让系统在应对复杂环境时具备更强的鲁棒性。

最后，该模型在处理长尾场景时表现出色，比如极端天气、异形障碍物、突然横穿的行人等，增加了智驾系统的泛化能力。

四、C1200可快速部署，A2000将大显身手

黑芝麻智能的端到端参考方案，以其创新的One Model架构和多模块协同设计，成功解决了传统分段式端到端系统中信息损耗、训练分离等核心问题。在决策单元引入VLM和PRR模块后，这套方案进一步提升了决策能力，无论在场景理解、轨迹规划，还是动态环境适应方面，都达到了新的高度。这种设计不仅提升了端到端系统的整体性能，也为行业开创了更智能、更高效的技术路径。

当然，再先进的算法也离不开芯片的支持。黑芝麻智能在设计端到端参考方案的同时，充分考虑了软硬件结合的实际需求，使其方案可以灵活适配不同性能的芯片平台。

不含 VLM 和 PRR 模块的标准版方案，可在黑芝麻智能现有的武当 C1200家族芯片上高效部署，满足车企和Tier1等合作伙伴基于算法的参考方案快速适配硬件并开发量产端到端系统的需求；而随着未来黑芝麻智能华山A2000家族芯片的推出，则可以用超高算力支持包括VLM和PRR模块的高阶版端到端系统的部署，为终端客户提供更高性能的智驾体验，并为L3和L4级自动驾驶做好准备。

未来，随着端到端架构的不断完善和芯片技术的迭代提升，黑芝麻智能将继续引领行业发展，为中国智能汽车产业的加速崛起贡献更多智慧与力量。

雷峰网