近日，CVPR 2024 自动驾驶国际挑战赛（Autonomous Grand Challenge）结果揭晓，英伟达凭借 Hydra-MDP 模型在 “端到端自动驾驶” 赛道中击败了全球 400 多个参赛者，荣登榜首。
这个自动驾驶国际挑战赛，是由上海人工智能实验室联合国内外顶尖高校，科研机构和企业，依托国际计算机视觉与模式识别会议 (CVPR) 举办的全球规模最大、等级最高的自动驾驶比赛。比赛获奖团队代表了当今世界自动驾驶相关研发的最高水平。
据了解，英伟达的 Hydra-MDP 模型还获得了本届 CVPR 的创新奖，体现了国际科研机构对于英伟达在自动驾驶汽车开发上领先研发能力的认可。
英伟达汽车业务的稳步增长，得益于其自动驾驶解决方案的推广。在中高端的智能汽车领域，Nvidia DRIVE Orin 的占有率非常高。
据不完全统计，采用 DRIVE Orin 的车企包括蔚小理、比亚迪、腾势、上汽智己、飞凡，吉利极氪、极越、路特斯，奇瑞、长城等 30 多家主流车企，就连时下最火的小米 SU7 全系搭载的也是 DRIVE Orin 系列。
此外，包括比亚迪、广汽、理想、小鹏、奇瑞、极氪、极越、长安等车企在内，都已经选择英伟达最新一代的 Blackwell GPU 架构的新一代 NVIDIA DRIVE Thor 平台，为其下一代自动驾驶系统提供算力支持。
除面向车端的自动驾驶算力芯片以外，英伟达还在通过面向汽车行业的 AI 和加速计算解决方案，帮助汽车制造商和合作伙伴实现全价值链条的数字化升级，为汽车研发、设计、生产制造、营销等多个领域带来创新。
本文从比亚迪电子、小鹏、蔚来以及理想四大头部厂商与英伟达的合作案例为例，探讨 AI 在赋能汽车行业数字化方面的新机会、新价值。
NVIDIA Isaac + Omniverse，打造比亚迪的数字工厂
在当前的汽车行业背景下，虚拟工厂概念应运而生。
虚拟工厂，作为真实工厂的物理级准确数字孪生，允许制造商在没有物理原型的情况下，对生产流程、资源和运营进行建模、模拟、分析和优化。
这种强大的模拟能力为汽车制造商带来了简化沟通、因地制宜的规划、优化设施设计和智能化运营等多方面的优势。
我们具体看比亚迪与英伟达的合作——从车端延伸到了云端。从下一代车载芯片 DRIVE Thor 到自动驾驶汽车的云端 AI 开发和训练，并和比亚迪电子在智能工厂方面进行合作。
借助 NVIDIA Isaac 和 NVIDIA Omniverse 开发自主移动机器人 AMR 以及虚拟工厂规划，包括利用 Omniverse 做自主机器的仿真，并以数字化方式构建、模拟和运营工厂数字孪生，从而提升生产智能化。
NVIDIA Isaac 是英伟达面向机器人和视觉 AI 的机器人平台，包括一整套加速系统、库、应用框架和生成式 AI 模型。
Isaac Sim 受益于 Omniverse 跨 3D 和仿真工具的 OpenUSD 互操作性，使开发者能够轻松设计、导入、构建和共享机器人模型和虚拟训练环境。
采用 NVIDIA Isaac 和 NVIDIA Omniverse 技术平台，可以助力比亚迪电子在构筑智能工厂的过程中，如虎添翼。
比亚迪这种年销高达 300 万辆的大厂，生产效率、物流部署的提升非常关键，而Omniverse 虚拟现实技术实现对汽车制造工厂的工作流程优化，采用 NVIDIA Isaac Sim on Omniverse，借助 AMR 的高精度仿真，从而进行车队化统一调度、管理与方案测试，节约工厂规划成本，提升 AMR 落地时效。
英伟达的技术，给比亚迪的智能工厂的效率披上了铠甲，节约了工厂规划成本，加速实现其数字化转型目标。
NVIDIA Omniverse，开启小鹏汽车协同设计创新
在传统的汽车设计流程中，普遍面临团队协作困难、沟通不畅、审查效率低下、物理原型成本高昂等挑战。这些问题不仅减缓了产品的上市速度，也影响了设计质量。
在提升设计流程效率和协同性方面，NVIDIA 的技术提供了一个答案。小鹏汽车使用了 NVIDIA Omniverse 精简了其超智驾大七座旗舰级车型小鹏 X9 的设计流程，实现了从产品设计到团队协作的优化创新。
NVIDIA Omniverse 是一个包含 API、服务和软件开发套件 （SDK）的平台。基于 OpenUSD，在 Omniverse 上运行的应用程序从根本上改变了复杂的 3D 工作流程，使个人和团队能构建统一的工具和数据工作流，并模拟物理级精准的虚拟世界。
通过使用 NVIDIA Omniverse，小鹏汽车可打造逼真、物理级精确、实时渲染的车辆外观与内饰的可视化资产，并使设计和工程团队能在虚拟环境中对产品进行测试和调整，显著加速了汽车设计工作流，提高了工作效率，从而节约了大量时间与金钱成本。
NVIDIA AI Enterprise + Instant NeRF，加速理想汽车大模型应用落地
现在新能源汽车的主战场，就是智能化。
伴随大模型上车的机遇，理想悄然把智能化打造成了自己的长项。
随着智驾技术的发展，理想汽车开始探索端到端模型，即从感知到跟踪、预测、决策、规划的全过程都实现模型化。特斯拉的 V12 版本是端到端模型的代表，实现了完全模型化和端到端的可虚拟性。
然而，理想汽车认为，即使实现了数据驱动和端到端模型，要达到 L4 级别的自动驾驶仍然面临挑战，因为 L4 级别要求在任何未知场景中都不需要人工监管。
因此，理想汽车提出了知识驱动的新范式，利用大语言模型和多模态视觉语言模型来提升车辆对世界的理解和应对未知场景的能力。
理想汽车的自动驾驶开发框架基于快慢系统的理念，类似于人类的思维模式。快系统（System1）负责直觉性的反应，而慢系统（System2）负责逻辑思考和处理复杂场景。理想汽车的 L3 级别自动驾驶和未来的 L4 级别自动驾驶都将基于这一框架进行开发。
目前，理想汽车已经在端到端模型的研发上取得了进展，尤其是在 BEV（基于摄像头的感知）的 3D 感知、动态感知、静态感知以及跟踪模型化等方面。理想汽车的 ADMax3.0 系统已经实现了业界领先的全场景 NOA，包括高速和城区驾驶，以及红绿灯路口的左右转、刹停和启停等复杂场景的处理。
在这个过程中，理想汽车和英伟达合作比较多且比较突出的工作是，通过 NVIDIA AI Enterprise 加速整个模型的部署以及推理加速，让视觉工作流从最初的每秒处理 9 帧画面提升到现在的每秒处理 21 帧画面。
NVIDIA AI Enterprise 是一个端到端云原生软件平台，包括 DALI、CV-CUDA、TensorRT 和 Triton 等 SDK 和平台，能够为 NVIDIA AI 平台提供企业级的软件和支持，可以帮助利用生成式 AI 进行创新的汽车行业合作伙伴加速开发，其中 TensorRT-LLM 框架为大模型提供了高效的推理能力，能支持在 DRIVE Orin 平台上运行复杂的神经网络模型。
除推理加速以外，对于车企来说，车型之间数据的复用和适配也是个很大的难点，因此串起来整个开发流程的数据闭环以及数据复用就显得尤为重要。
NVIDIA Instant NeRF 是一个全新的 3D 渲染技术，被美国《时代》周刊评为 2022 年度最佳发明。该项技术可用于训练机器人和自动驾驶汽车，开发者可以在短短数秒内将多组静态图像转变为 3D 数字场景，并在此基础上进行修改和构建。
在 NVIDIA Instant NeRF 的帮助下，理想汽车能够在系统之上优化数据的使用和生成，如对理想 L9 车型的数据进行重建和动态编辑，有效利用历史数据，从而提高了数据处理的效率和模型训练的泛化能力。
而在智能座舱领域，由多模态认知大模型 Mind GPT 构建的理想汽车 AI 助手 “理想同学”，融合了语音、视觉和触控等多种感知信息，能够充分理解语言和用户需求，并提供有价值的回复。
在这一过程中，NVIDIA GPU 强大的计算能力支撑了大模型的训练和推理，使得 “理想同学” 能够快速、准确地处理和响应用户指令。
目前，英伟达正在通过从云端到车端的全方位 AI 加速解决方案，助力理想汽车积极拥抱大模型，推进智能驾驶和智能座舱方面的技术创新。
深度学习 + 自动驾驶，解决蔚来感知模型训练难题
随着深度学习模型的不断发展，模型的规模和复杂度也在不断增加，这对计算资源和内存提出了更高的要求。为了解决这一问题，张量并行技术应运而生。
张量并行（Tensor Parallel）技术的优势是提高计算效率、减少内存消耗、提高模型性能。这恰恰对应了蔚来的难题——在中央计算平台 ADAM 强大算力加持下，蔚来自动驾驶技术在飞速发展，由于采用了多摄像头输入和深度卷积骨干网络，用于训练自动驾驶感知模型的 GPU 内存占用很大。
英伟达和蔚来合作设计并实现了张量并行 CNN 训练方案，在多个 GPU 之间分配深度学习模型的计算任务，从而显著降低对单个 GPU 的内存占用和带宽压力，实现更快的计算速度和更高的计算效率，最终帮助提高了自动驾驶汽车感知模型的训练效率和 GPU 利用率。
基准测试显示，在蔚来自动驾驶场景下，该方法表现良好，有效解决了视觉大模型的训练难题。
而在此之前，蔚来还选用了 NVIDIA Triton 推理服务器，为蔚来自动驾驶开发平台（NADP）构建高性能推理服务。Triton 让模型的编排和扩展变得更加轻松，还将推理速度提高至 6 倍，并节省了 24% 的资源。
从英伟达与四大厂商的合作，汽车行业正在呈现几大趋势
首先是，全自动驾驶，从 AI 1.0 正在迈向 AI 2.0。过去的软件定义汽车，即 AI 1.0 时代，需要大量工程师介入。
在 AI 2.0 时代，也就是我们说的 AI 定义汽车，大部分模型都能够在云端完成训练，即实现通过数据驱动的方式。生成式 AI、加速计算在下一代自动驾驶汽车中的作用将越来越大。
其次是，比亚迪电子的虚拟工厂，是一次工业互联网从单点赋能到系统赋能的有力实践，AI 机器人技术赋能工厂加速制造业自动化与工业化效率时代正在到来。
在比亚迪电子的生产车间，自主移动机器人已在为汽车制造的效率带来助力，采用 NVIDIA 数字孪生技术复制实体工厂，可以为现有机器人工厂创建精确的实体世界规模仿真，使生产、仓库物流、配送中心变得高效，引导我们将自动化和工业效率提升到新的水平。
其三，汽车的智能化正在进入接近人类思维高阶阶段。
基于英伟达 AI Enterprise 软件平台和 GPU 算力支持，理想汽车正在探索端到端模型，即从感知到跟踪、预测、决策、规划的全过程都实现模型化。自动驾驶开发框架基于快慢系统的理念，类似于人类的思维模式。
智驾没有人聪明，复杂的驾驶场景还得人来是一个共识，从理想的案例来看，通过端到端全方位AI加速解决方案，汽车智能化已经可以应付高速和城区驾驶，以及红绿灯路口的左右转、刹停和启停等复杂场景的处理。汽车智能化正在进入新的高阶阶段。
其四，汽车厂商从生产到使用的智能化。综上四个案例来看，AI 正在融入设计、工程、生产、销售等多个环节，汽车智能化进入 AI 工业 2.0 时代。
比亚迪电子、蔚来、小鹏、理想与英伟达的合作，可以视为汽车行业数字化转型的一个信号，汽车制造正在实现全工作流的数字化升级。
在 AI 时代，科技服务于人，同时推动着时代的变革，也让我们看到下一个时代的到来。
作者：王新喜 TMT资深评论人 本文未经许可谢绝转载
