智东西
作者 | 云鹏
编辑 | 漠影
2024年无疑是端侧AI爆发的一年，因此产业也通常将今年看作是“端侧AI元年”。
当下，AI大模型在终端细分赛道展现出的强大生命力，各类AI产品几乎无处不在，AI手机、AI PC、AI眼镜，以及AIoT领域的各类AI智能终端设备成为当下数码和科技圈广为热议的关键词。
根据Gartner预测，2025年AI PC全球出货量将超过1.14亿台，同比增长165.5%。另一边，AI手机也在快速普及，根据Canalys预测，2025年AI手机的渗透率可能会接近三分之一，出货量近4亿台。
与此同时，具身智能机器人赛道火爆，智能汽车领域的AI应用落地更是“卷”得飞起。
端侧AI的加速落地，让消费者感受到了不一样的AI体验：AI真的更“懂你”了，AI功能更加“个性化”，AI能力也更加深入系统级。端侧AI的价值愈发凸显。
根据研究人员统计预测，端侧AI市场规模将在8年后冲向1436亿美元（约合人民币10400亿元），10年增长10倍。
▲2022年至2032年按终端用户划分的端侧AI全球市场规模（单位：十亿美元）在国内AI市场，AI的发展更加百花齐放，据艾瑞咨询测算，2023年国内AI产业规模已经超过了2100亿元，端侧和边缘AI芯片的比重也有望持续增涨。大模型带来的底层技术革新无疑会给端侧AI产业规模增长带来更多存量扩张与增量空间。
▲来源：艾瑞咨询
在这样的行业背景下，国内AI领域的玩家是走得最积极的一批，在技术落地方面推进得更加踊跃。从底层的芯片IP、芯片设计、制造到操作系统、大模型研发、终端，再到上层AI应用和服务落地，国内AI发展有着完整的全产业链条，本土AI新势力无疑有着充足的施展空间和机会。
扛起本土AI底层生态建设大旗，需要国内厂商在端侧AI领域协同发力、抱团取暖。
作为产业链最上游芯片IP领域核心玩家的安谋科技，刚刚在上海举办了一场端侧AI生态研讨会，聚集了从芯片、大模型到终端，从硬件、软件、算法到生态的各路行业头部企业，分享最新行业趋势，输出前沿观点。
安谋科技销售及商务执行副总裁徐亚涛提到，AI未来的发展必然是多样性的，每一类产品都面临着AI化的挑战，整个产业都在被AI重塑。AI不是单打独斗可以搞定的，跨行业的深度合作将成为必然。
▲安谋科技销售及商务执行副总裁徐亚涛一、端侧AI落地，一场模型与算力的“双向奔赴”，本土AI新势力走向前台
就在昨天凌晨，OpenAI正式发布了Sora视频大模型，AI大模型的迭代再进一步，从文本到图像、从多模态到视频，大模型的发展快得令人不敢眨眼。一个不留神，可能就会掉队。
随着超大规模的基座大语言模型不再持续狂飙，大模型向着边缘和端侧下沉的趋势日益明显，AI OS、AI智能体等概念逐渐成为行业共识，产业的关注焦点已经转向了真正赋能行业、实现落地。
大家不再单纯地看TOPS（算力），而是更关注FPS（帧数性能）和tokens（生词速度），也就是更关注实际在应用场景中的表现。
智源人工智能研究院副院长、总工程师林咏华提到，大模型的技术发展如今更加聚焦模态的多样性、模型结构算法的多样性以及生产部署的优化，大模型发展呈现出“两极分化”的态势：更强更大和更小更精。
据统计，数百亿级以上的强大稠密模型，或10B以下的小模型更受欢迎，越来越多的小模型被发布和下载，而端侧AI的发展，显然更侧重于“更小更精”。
与此同时，一个突出的特点就是国内AI企业在AI大模型这波浪潮中一直走在全球AI产业的前列，热门大模型中本土公司开发的模型占比很高。
尤其是结合国内AI市场潜在规模，本土AI企业的发展潜力更是巨大的。
安谋科技市场及生态副总裁梁泉也谈到了类似的观点，在端侧AI领域，模型与算力正在“双向奔赴”，小参数、多模态模型的能力快速提升，而旗舰设备的算力也已经达到50-100 TOPS。
▲安谋科技市场及生态副总裁梁泉在端侧AI的元年，虽然没人能确切地说出端侧AI的杀手级应用会是什么，但本土AI新势力发展端侧AI已经实打实地从技术军备竞赛走向场景化落地应用。
二、本土企业领跑端侧AI落地，技术创新加速涌现，生态大一统走向必然
端侧AI的发展无疑正迎来一个新的“黄金时期”，从芯片、框架、大模型到终端，整个产业链的各个环节都在深度参与，快速适应，不断迭代产品和技术。与此同时，统一生态的重要性愈发凸显，端侧AI的高效落地，必然需要弥合碎片化的生态，需要产业链各方的共同努力。
1、从手机、PC到汽车，芯片创新为端侧AI落地提供底层基础
在端侧AI落地过程中，AI手机无疑冲在了最前面，苹果安卓两大生态分庭抗礼，安卓生态端，联发科、展锐等手机芯片巨头的AI手机芯片无一例外都是基于Arm架构打造。
紫光展锐执行副总裁兼市场部部长黄宇宁谈道，端侧AI如今正涌现出更多成果，包括硬件、软件、端侧大模型、端云协同与安全技术等领域的诸多新技术的成熟都加速着AI手机的发展。
▲紫光展锐执行副总裁兼市场部部长黄宇宁从手机AI到真正的AI手机，一个能够自动执行复杂任务、真正懂我们的智能设备，AI手机的发展正迈入AI OS、AI智能体时代。在AI落地手机的过程中，很多厂商都明确提出了“端云协同”的混合AI模式。
简言之，混合AI就是将云端的强算力与端侧的个性化、低时延、高数据安全性等特点相结合，真正实现优秀的端侧AI体验。
据黄宇宁介绍，目前紫光展锐的芯片已经在三个AI典型场景中应用：全场景通用AI算力（端侧AI智能体）、多媒体专用AI算力和低功耗轻量AI算力。
基于Arm架构和生态，紫光展锐可以提供CPU、GPU、NPU以及整合的SoC这些底层算力平台，而整个生态的构建则需要产业合作伙伴的共同努力。
黄宇宁特别提到，在端侧AI落地过程中，统一生态是非常重要的，其最直接受益的就是开发者，而开发者则可以利用统一生态，把最新的算法、模型在芯片上快速实现落地，让用户最终享受到好的服务。
除了AI手机，另一个端侧AI落地的重要领域就是AI PC。
此芯科技生态战略总经理周杰提到，生成式AI正在推动PC产业的第三次革命，AI给PC产业注入了新的活力，包括异构AI算力、内存、SLMs（小模型）、智能体化，国内厂商都在积极拥抱端侧AI。
▲此芯科技生态战略总经理周杰已经发布的“此芯P1”芯片是一个高能效异构处理器，异构集成了Arm架构CPU、GPU以及安谋科技自研的“周易”NPU，此芯科技要用异构算力去赋能多场景端侧AI，将不同的计算模块应用在不同应用负载中。
现场周杰还剧透了他们的AI PC开发套件新品Radxa Orion 06，这个开发套件搭载了“此芯P1”高能效Armv9处理器，可以基于异构算力支持主流端侧生成式AI大模型和传统CNN模型。
显然，AI PC的发展会助力Arm架构在PC市场的崛起，Arm架构在AI PC生态有先发优势，是手机生态的自然延伸。
同样基于Arm架构打造AI处理器的还有爱芯元智，在爱芯元智联合创始人、副总裁刘建伟看来，AI是稳定可靠的智能输出基建，是一场成本驱动型的生产力革命。
▲爱芯元智联合创始人、副总裁刘建伟AI的发展，带来了新的程序范式，因此需要真正按照原生AI处理思路设计的AI处理器，为此，爱芯元智将算子指令集与数据流DSA微架构相结合开发了相关AI处理器，可以兼顾灵活性和低能耗。
他特别提到，AI处理器的设计要软硬件联合设计，让软件编程的负担越来越低。
2、从云到端，模型变得“更小更强”，统一生态加速技术创新涌现
在大模型研究方面，智源人工智能研究院、面壁智能和vivo都是各自领域的领跑者。端侧AI的落地，离不开大模型侧的技术突破和优化迭代。
在智源人工智能研究院副院长、总工程师林咏华看来，未来10年，大模型必然会牵引AI走向美好的星辰大海，而在这个过程中，多元异构AI算力软硬件生态面临着巨大的技术挑战。
▲智源人工智能研究院副院长、总工程师林咏华芯片层面软件生态割裂、迁移成本高，而各种异构算力、多地域算力整合面临异构算力软件各异、软硬件稳定性差等难题。各个厂商私有的、碎片化的软件生态已经成为用户尝试其他AI硬件时的最大障碍。
为多元异构AI芯片打造统一、开放、协作的软件生态系统就显得尤为重要，这也是智源人工智能研究院基于开源的Triton语言打造统一的软件层、打造面向国产AI芯片的软硬件生态系统的目的所在。
Triton编译器可以支持Arm生态芯片，基于Triton算子库及编译器可以获得开发效率、性能效率上的双重优势。
林咏华特别强调了统一生态的重要性，当上层有统一生态的时候，就会有更多软件技术层面的突破涌现，这对于整个产业都有重要的积极意义。
面壁智能联合创始人&CTO曾国洋重点分享了自家面壁小钢炮系列大模型的最新进展，其“以小博大、高效低成本”的特点刚好印证了林咏华对于大模型趋势的判断。
▲面壁智能联合创始人&CTO曾国洋MiniCPM 3.0一个4B大模型，可以获得ChatGPT级基础性能，量化后内存占用仅有2GB，最新端侧多模态大模型 MiniCPM-V 2.6 8B模型则可以单图、多图、实时视频全维度超越GPT-4V。
未来，大模型知识密度会随时间呈指数级增长，而端侧算力目前总量巨大亟待激活，存量手机终端算力总规模超过7100 EOPS，端侧AI市场势能强劲，“把大模型放到离用户更近的地方”，就是面壁智能未来核心要做的事情。
同样把大模型做得“小而美”的还有vivo。
作为手机终端巨头，vivo在自研大模型方面一直跑在行业前列，今年其自研的蓝心端侧大模型BlueLM-3B，已经在性能、功耗方面超越了原来的7B大模型，甚至可以达到云端70B大模型80%以上的效果。
▲vivo AI规划高级总监孟祥育系统级总结摘要、全局书写工具、多模态理解、vivo手机智能体PhoneGPT（自主拆解需求、主动规划路径、实时环境识别、动态反馈决策）这些端侧AI能力都落地在了vivo的旗舰手机中。
目前手机端侧大模型发展面临的主要挑战，是内存、性能、功耗与模型效果之间的平衡，在vivo看来，3B大模型是端侧模型的黄金尺寸。未来如何更高效地更充分地利用芯片算力，在小参数模型上实现更好的端侧AI体验，是手机厂商们努力的方向。
3、MNN提升大模型部署效率，ODM大厂重点布局软件做好“连接”
在芯片和大模型之间，推理框架层面的技术迭代也十分关键，可以说起到了大模型在端侧落地的“催化剂”作用。
阿里巴巴端侧AI技术专家邢世稳重点分享了其在MNN开源框架端侧大模型部署方面的探索。
▲阿里巴巴端侧AI技术专家邢世稳简单来说，MNN是轻量级深度学习推理引擎，涵盖了AI模型图优化、转换、高效运行，其核心要解决的就是模型在各类设备上高效部署运行的问题，尤其是移动设备。
同样在“连接”方面具有独特价值的是作为ODM大厂的六联智能，其产品中心副总经理&产品总监张晓军提到，六联智能的目标是提供端侧AI全场景硬件解决方案，他们最近成立了专门的软件团队，连接处理器厂商和算法厂商，做更好的集成，打通“最后一公里”。
▲六联智能产品中心副总经理&产品总监张晓军目前，从个人10B到家庭/小企业10-100B，再到中大型企业100B+，六联智能都有全场景端侧AI解决方案，包括AI PC、AI工作站和服务器。
4、立足自研NPU，异构计算+混合AI成为行业最优解
可以看到，端侧AI已经成为整个AI产业都在重点布局的领域，而安谋科技在扛旗推动AI生态建设的同时，也基于自身的本土创新能力，推出了“周易”自研NPU，并从异构计算的角度进一步加速端侧AI的落地，给行业提供新的解法。
安谋科技NPU产品总监鲍敏祺在会上提到，手机、平板、PC国际大厂纷纷发布各种应用，但当前以实际AI模型使用体验来说仍然不理想，国内AI算法模型应用生态仍然没有规模的商业落地。
▲安谋科技NPU产品总监鲍敏祺端侧AI的迭代非常快，从高频度的算法更新、计算模式优化、容量需求提升到算力要求提升，算力需求随着大模型多模态应用而持续增加，而大模型对NPU IP硬件也提出了新的需求。
针对这些需求和挑战，安谋科技新一代“周易”NPU专门对transformer进行了优化，其涵盖了软硬件方案以及深入的系统考量，在功耗、面积、性能方面形成优势，可以说是基于软硬协同来应对未来应用场景。
正如前文所说，在端侧AI的发展过程中，算力和模型呈现双向奔赴的趋势，而在这个过程中，挑战也很多，异构计算与混合AI的方式，可以更充分地利用端侧算力，已经成为业内公认的最优解。
三、既懂技术又懂市场，本土AI生态圈的“扛把子”不是一天炼成的
可以看到，从手机、PC、汽车到整个物联网AIoT，包括智慧家庭、无人机、智慧工厂、机器人、智慧监控、智能零售、智能穿戴，几乎各个产业都可以为AI所赋能。
芯片企业、大模型企业、终端巨头，产业链上下游各方也都在积极行动，探索合作共建的端侧AI生态之道。在这一确定的方向上，安谋科技的产业价值不言自明。
一方面，安谋科技在NPU、软件、异构计算平台等方面做好了解决方案级的技术布局，另一边其成为联合国内本土客户构建端侧AI生态的最核心推手。
就在今天的研讨会上，“AIPC和EdgeAI联合实验室”正式揭牌，这是一个由安谋科技牵头发起，联合产业多方共同搭建的AI平台，核心就是要做本土的AI生态建设、社区发展和技术运营，进而给端侧AI的落地添柴。
实验室会聚焦PC与Edge领域，探索AI生态和应用场景，跟产业链合作伙伴一起去构建本土的技术生态。当然，这也是国内厂商对接Arm全球生态的一个关键平台。
其实，通过现场与会者的发言，在笔者看来安谋科技牵头来组这场端侧AI的交流分享局的立足点可以用以下几个关键词概括：
一是“连接”。一边是完整的自研业务产品和本土市场服务能力，一边是Arm成熟技术标准和生态体系，从Arm通用IP到自研产品，让其可以通过更灵活的产品组合和形式去对接、赋能产业。
二是“上游”。作为本土AI产业链上游的独特视角是其有别于其他端侧AI组局者的另一个核心标签，可以站得更高看得更远，对技术趋势的判断也更加前瞻和精准。
三是“本土”。作为一家本土企业，对于本土AI市场的实际需求、关键痛点都有着更精准的把握，所进行的本土技术创新也更有针对性。
这些都是安谋科技在今天国内AI产业中的不可替代之处。
正如安谋科技市场及生态副总裁梁泉所说，在端侧AI的落地过程中，很多问题往往需要既懂模型、又懂底层软硬件的人才能解决，这对于厂商来说挑战很大。
但同时这些问题又有着共性，建立一套统一的软件生态，意义十分重大，安谋科技的一系列动作恰恰就是要帮助企业解决这些挑战。
据了解，目前已有智源人工智能研究院、紫光展锐、爱芯元智、六联智能、系微软件、此芯科技、亿道数码、辉羲智能、面壁智能、零一万物、中科加禾、瑞莎计算机等十几家正式加入AIPC和EdgeAI联合实验室，上海漕河泾开发区则为该实验室提供相关产业支撑。
安谋科技在推动端侧AI生态建设方面，无疑又迈出了关键一步。
结语：瞄准未来万亿市场，本土AI产业有望持续引领
从2018年成立至今，从承接Arm技术和生态赋能产业，到多条自研产品线的持续迭代。通过一手连接Arm生态，一手耕耘国内市场的独特站位，安谋科技持续致力于给本土AI发展提供更具针对性的软硬生态协同的一体化解决方案。
而伴随着Arm计算平台面对AI时代的稳步深耕，Arm架构成为未来AI计算的基础，已经成为必然趋势。我们也期待看到在本土端侧AI产业链上下游玩家们的通力协作下，本土AI产业在产品研发、技术创新和市场培育上多元发力，以更加迅猛的加速度，朝着万亿规模持续进发。
