端侧大模型风起,联发科技宣布All in AI,发布天玑9300+芯片丨最前线

端侧大模型风起,联发科技宣布All in AI,发布天玑9300+芯片丨最前线
2024年05月08日 08:30 36氪

作者丨邱晓芬

5 月 7 日,联发科技(MediaTek)举办天玑开发者大会 2024。这也是联发科技董事、总经理陈冠州口中,“第一次这么大规模的AI产业生态大会”。

从整场大会可以看出,联发科技大有All in AI的趋势,从芯片、软件工具、生态多方面着手。

在芯片层面,联发科此次发布了全新的「天玑9300+核心处理器」。值得注意的是,这颗芯片依旧主打AI能力——在端侧支持双LoRA融合技术,这意味着开发者们能在一个大模型的基础上,叠加双倍的功能,生成式AI的效率更高。

此外,天玑 9300+也支持当下主流的生成式 AI大模型,支持图像、文字、音乐等,还支持AI框架 Execu Torch,加速开发者借助端侧生成AI的开发进程。在发布会上演示时,联发科技用天玑 9300+芯片,在端侧跑了Llama 2的 7B大模型,仅仅使用了22tokens/秒。

在过去一段时间里,联发科技对端侧大模型在手机的落地发起了进攻。去年 11月份推出的天玑 9300 已经得到了OPPO、vivo主流手机厂商旗舰系列的认可,在彼时那颗芯片上,联发科技开始在soc里面集成了能提高计算效率、降低计算功耗的的APU,把计算的任务从GPU分流到 APU上。

在这几次的AI突围后,此前联发科技方面也表示,其今年的AI芯片出货量将突破千万片大关。

除了芯片单一产品之外,此次联发科技还在软件上下了功夫。陈冠州表示,在构建端侧AI的生态上,更好的方式其实是将原有的智能生态转化成生成式AI,而不是重新从0开始造一套生态。据他判断,生成式 AI在手机上将在三个方面率先落地——智能出行、游戏、新的交互体验。

不过,由于生成式AI尚且处于起步期,而终端硬件各式各样,互相移植的难度太大,要在端侧运行大模型,目前也缺乏开发工具。

为此,联发科技还发布了一个「天玑AI开发套件」。据联发科技方面介绍,这个套件的特点是更快更全,将通过模型的量化、编译、推理等技术,加速大模型部署,部署时间从一周减少到一天;此外,还覆盖全球主流大模型的GenAI Model Hub,提供一站式视觉化开发环境。

目前,天玑AI开发者套件已覆盖智能手机、智能汽车、物联网、个人电脑等智能终端设备。

除了芯片和工具上的新动作,此次联发科技也官宣了不少生态伙伴的合作关系。比如,此次联发科方面宣布与阿里云旗下通义千问 AI Agent(智能体)进行端侧合作。

此次,联发科技方面还宣布了与百川智能、传音、零一万物、OPPO、荣耀、vivo、小米启动“天玑AI先锋计划”,将整合产业生态伙伴资源为开发者提供开发资源、技术支持和商业机会,帮助开发者在搭载天玑芯片的终端设备上打造新的用户体验。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部