让智能座舱“能看会说”,英伟达深度适配通义千问大模型

让智能座舱“能看会说”,英伟达深度适配通义千问大模型
2024年09月20日 15:28 后海四合院

“未来谁能每年生产、销售100万台全AI汽车,才是进入下一个阶段淘汰赛的入场券。”何小鹏在云栖大会上作出如此预判。据他测算,自动驾驶汽车整车包含5500颗左右芯片,是传统燃油车的10倍,其中有些专有能力的芯片是自研,更多芯片还是要依赖英伟达、高通等合作方。

斑马智行最新发布了to B端的智能座舱品牌“元神”。像智能座舱、自动驾驶……这些场景离不开大模型训练推理以及算力集群的底层支撑。

9月20日杭州云栖大会消息,NVIDIA DRIVE Orin系统级芯片实现了与阿里云通义千问多模态大模型Qwen2-VL的深度适配。阿里云、斑马智行联合NVIDIA英伟达推出舱驾融合大模型解决方案,基于通义大模型开发“能听会看”的智能座舱助理,让车内人员通过语音交流就能操作座舱内的各类应用,享受极致丰富的交互体验。

AI大模型正在引领新一轮产业变革,汽车行业是最受关注的大模型应用领域之一。作为“大模型上车”的重要切入点,汽车座舱的智能进化广受期待。大模型接入智能座舱,有望为乘客提供座舱环境控制、车内休闲娱乐、驾驶行为监测等拟人化的服务。

通义大模型的智能座舱解决方案,能为座舱配备一位具备感知、思考、决策能力的“智能助理”,它不仅能观察理解用户的语音、手势,还能根据环境信息和常识判断做出自主决策。乘客无需物理按键,只要动动嘴巴,就能让智能助理完成各种任务。

这个解决方案以通义大模型为“大脑”,集成了通义大语言模型Qwen2-7B和通义多模态模型Qwen2-VL。Qwen2-VL是阿里通义实验室研发的新一代视觉语言模型,具备业界最强的图片识别能力和视觉智能体能力,在多个国际权威测评中创下同等尺寸最优成绩。Qwen2-VL的2B和7B参数模型因其性能和尺寸的“极致性价比”,尤其适合汽车等端侧场景。同时,通义实验室最新发布的 Mobile Agent V3 首次落地汽车座舱场景,提供座舱屏幕感知、复杂任务规划以及座舱应用 UI的操作决策能力,大大扩展座舱智能助理的能力边界。

本次解决方案基于端云一体架构,端侧通义大模型经NVIDIA英伟达自动驾驶和座舱芯片NVIDIA DRIVE Orin加速。NVIDIA英伟达提供了强大的芯片适配技术支持,通过优化GPU 架构和驱动软件,确保充分发挥大模型的性能潜力。NVIDIA的模型加速技术有效降低了大模型在实时处理复杂任务时的计算成本和时间延迟,为用户创造了流畅无阻的智能体验。未来,通义大模型还将采用 NVIDIA DRIVE Thor新一代集中式车载计算平台。

阿里旗下的智能出行解决方案提供商斑马智行,为舱驾融合多模态大模型解决方案的落地提供了工程环境,将大模型能力丝滑嵌入汽车座舱、匹配用户操作习惯。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部