2023年底,伴随着代号Meteor Lake的一代酷睿Ultra处理器的发布,Intel正式提出了AI PC的新概念。
彼时,乃至之后很长一段时间内,很多人都存在相同的疑问:AI PC和传统PC到底有何不同?它能替我的工作/生活/学习做什么?值得升级吗?
事实上,不仅仅是广大消费者,从业者在AI PC兴起之初也有类似的迷茫。
但是,困难的事总是要有人去做的,未知的路总是要有人去走的。
作为AI PC的发起者,Intel凭借持续的路线图、扎实的技术、广泛的影响力、强大的号召力,联合整个业界一起,不断从软硬件各个角度推进AI PC,尤其是推动更多的应用开发、场景落地。
令人欣喜的是,AI PC诞生还不到一年半,就已经取得了长足的进步:
随着Intel酷睿Ultra 200系列全线布局完毕、锐炫B系列显卡崭露头角、至强6家族各系列陆续登场,AI PC无论硬件产品还是应用场景,都越来越丰富、越来越深入。虽然距离完全成熟为时尚早,但确确实实已经迈入了全新的、实用的阶段。
尤其是这个新年,我们不止有“DeepFeed”、“DeepSleep”这些传统的吃吃喝喝、休闲放松,更有DeepSeek。
DeepSeek的重大意义,一方面是中国AI一次革命性的突破,另一方面是通过开源、免费,加速了AI普惠,无论是政企学科等各种单位机构,还是个人,都可以灵活地部署自己的大模型,无论是满血版、蒸馏版,还是微调、再训练。
DeepSeek的炸裂表现,无疑是AI历史上里程碑的一幕,掀起了一股新的浪潮,带来了更多的思考,也带来了更多的机遇。
【软硬全栈:Intel的大模型一体机部署方案】
随着AI大模型部署需求的高涨,尤其是DeepSeek的火爆,AI通用一体机逐渐为更多人所熟知,市场上也迅速出现了大量产品,不少都直接打出了“DeepSeek一体机”的标签。
Intel自然没有错过这一波机遇,充分发挥了自己独特的软硬件“全家桶”优势。
AI一体机包括训推一体、模型推理、模型应用等不同类型,主要面向政务、金融、医疗、教育、制造等垂直行业领域。
它的优点有三:
一是开箱即用:硬件、模型、算法、软件等全部集成,无需再单独采购、配置、安装、调优,买回来就能用,大大降低使用门槛,而且因为是本地化部署,延迟更低,响应更快,体验更流畅。
二是隐私安全:很多企业机构的数据是不能对外的,本地化部署一体机后,可以集成本地知识库、高效智能体,一切处理都可以在本地进行,不会外传。
三是高效优化:软硬件适配优化更深入,可大大提高AI模型的运行效率,从而提升工作效率。
不过,DeepSeek等大模型的本地部署,也不是完全那么简单,要重点考虑多个因素,才能达成效率和经济的最优化。
比如模型大小,是满血?还是蒸馏?
比如数据精度,是更精确但更好资源的FP16/BF16?还是比较均衡的FP8?抑或速度更快的INT4/FP4?甚至更低比特?
比如上下文长度,16K-128K如何选择?
比如吞吐能力,能否满足时延要求?
比如响应能力,TTFT(首个token)生成时间有没有超过5秒?TPOT(token生成时间间隔)是否控制在100毫秒之内?
Intel AI全家桶的优势恰恰就在于,无论你想部署什么样的模型,获得什么样的输出效果,无论是在边缘侧还是在端侧(当然也有云侧),都可以找到最适合自己的产品组合。
其中,至强一体机适合满血大模型,锐炫GPU显卡适合蒸馏模型,酷睿Ultra 200系列则适合蒸馏量化模型。
酷睿Ultra系列的全新命名,当然不完全是改个名字那么简单,更是标志着开始真正进入AI的新时代。
第一代酷睿Ultra 100H系列(代号Meteor Lake),最高可提供36 TOPS算力,算是开始入门。
第二代酷睿Ultra 200系列直接提升了一个档次,200V系列(代号Lunar Lake)、200H系列(代号Arrow Lake-H)分别可提供最高120 TOPS、99 TOPS的算力,不但可以完全满足Windows 11 AI+ PC的需求,还为部署更大规模模型提供了支撑,14B蒸馏模型都可以直接搞定,保证流畅体验。
除了基础的硬件算力,Intel还有着成熟的AI工具链和生态支持,总能得到最先支持与最好用优化,这是竞品无法比拟的。
迄今为止,仅仅是在国内,Intel AI PC就已经得到了40多家ISV软件开发生的适配支持。
Intel的锐炫GPU显卡虽然在游戏市场占比不高,但是凭借先进的架构、大容量的显存、完善的工具链支持,也悄然成为AI部署的上佳之选。
最新发布的锐炫B系列,搭配酷睿Ultra 200系列处理器,单用户单卡即可部署14B模型(FP8/INT4),双卡的话可以支持32B+模型(INT4)。
上一代的锐炫A系列依然宝刀不老,搭配至强处理器可以组成四卡、八卡一体机,最高可以支持70B模型(FP8/INT4),这也是个非常流行的方案。
不过注意,系统内存容量也是个关键因素,建议不少于64GB。
这是使用基于酷睿Ultra 200V系列处理器、32GB内存的轻薄本,本地部署DeepSeek 14B模型基础版,可以流畅执行知识问答、代码编写等任务,输出速度能达到每秒10 tokens左右。
这里展示了两个俄罗斯方块游戏的生成,左侧是正常的基础版,右侧则是进阶版,每隔20秒左右就会出现两个新的随机方块,可能生成在任意落点,从而大大增加了游戏难度。
挑战本地部署DeepSeek R1 32B模型,内存也增加到64GB,可以分配大约36GB作为核显的显存,生成速度可以达到每秒14 Tokens。
用它开发小游戏,比如打砖块、五子棋这种级别的,虽然速度说不上飞快,但依然完全在可接受程度内,生成的小游戏也都能正常运行。
【深度优化:Intel的大模型框架方案】
除了AI大模型,大家应该还能经常听到框架一词。
所谓框架,就是一种用于开发、训练、部署AI模型的软件平台,它提供了一系列的工具、库和接口,帮助开发者更高效地构建和实验各种AI模型,可进行数据处理、模型构建、模型训练、模型评估、模型部署等全流程工作。
AI框架非常多,仅仅是开源的就有100个左右,目前常见常用的有:Google TensorFlow、PyTorch、Ollama、Keras、MXNet、Caffe、Haystack,等等。
Ollama就是一个轻量级的、可扩展的框架,可在本地创建和运行大模型,优点是开源、兼容社区工具链,适合在端侧运行量化模型,缺点是原生支持的硬件有限,网络下载模型也可能不是很顺畅。
如今,Intel AI PC就已经可以很好地支持Ollama,后续我们也会通过专题的方式为大家介绍如何在Intel平台上部署Ollama。
值得一提的是,Intel已将IPEX也就是Intel PyTorch框架扩展库与Ollama进行了整合,体积大约200MB,在魔搭社区上提供,可以高速直接下载模型。
Intel IPEX可以更好地提升PyTorch在Intel平台上的训练和性能。
在这方面,神州数码就与Intel展开了深度合作,推出了大模型本地部署产品“爱问学”。
爱问学主要面向AI PC应用开发者,可以轻松地一键部署本地大模型,让开发者不再需要关心底层硬件迭代
它通过模型蒸馏与优化技术,将大模型压缩成轻量化版本,用户只需一键操作,5分钟内就能在PC上完成本地化模型安装,无需配置复杂环境或理解专业参数,零技术背景也能轻松上手。
它还能再多种本地模型之间自由切换,均可离线运行,此外支持个人私密AI知识库,并提供开箱即用的工具集。
爱问学的模型仓库涵盖Ollama、HuggingFace、ModelScope(魔搭),方便开发者随时获取最新版本。
【五大场景:Intel的AI PC应用生态】
AI PC的应用已经逐渐丰富起来,遍布各个领域和场景。
按照Intel的划分方式,大致可以分为知识助手、办公助手、娱乐助手、创作助手、垂类助手五大类。
这里,我们就通过其中的五个典型应用,看一下如今的AI PC到底能干什么。
Intel与字节跳动旗下扣子AI大模型开发平台合作,打造了一款AI PC Agent智能体,堪称工作中的私人助理,其中一个典型应用能力就是视频会议助手。
它可以自动记录会议语音内容,同步转换为文字,并在会后自动进行摘要总结,当然支持多种语言,可以自动翻译,期间用的是端云结合。
它还能截取指定的画面并入库,也就是存入数据库,还能向量化理解其中的内容,后续有需要可以直接搜索。
神州数码的爱问学,可以理解为你的百度百科,酷睿Ultra版本集成了多达31个大模型,包括DeepSeek、Qwen家族,参数量从0.5B到14B都有,还有三个模型可用于RAG。
它能根据硬件配置情况,直接下载不同的大模型,部署于本地,加速对话、问答、总结,还能搜索、导入本地知识库。
它调用的主要是GPU算力。
面壁智能的迷你CPMV2-6,一个8B的视觉大模型,可以对图像和视频做理解和分析,智能分析视频内容,进行提炼总结。
它也是在本地执行的,也是主要调用GPU算力。
爱奇艺智能助理,联合Intel开发。
它可以根据用户的偏好需要,自动搜索、播放符合的视频剧集,还可以分析视频内容,智能回答各种问题,甚至能作为情感伴侣,与你共情,一起分享观影感受。
亦心闪绘AI PC版,国内首批AI实时绘画软件之一。
它可以在手绘草图的同时,实时生成绘画成品,即便是毫无创作基础的小白,也可以轻松完成大作。
Intel作为AI PC的发起者、倡导者,不仅提供了全栈硬件产品、开发工具链,更始终积极与全行业一起,在开放、创新、共赢的原则下,加速AI应用的开发与落地。
短短一年多时间,AI PC的生态就已经初具规模,应用逐渐丰富起来,开始遍布各个场景,服务于我们的工作、生活、学习。
数据显示,Intel在全球已经有200多家ISV独立软件开发商合作伙伴,中国本地就超过了40家,而支持的大模型已经超过500种,最近还发起了第二届AI创新应用大赛,进一步将AI PC落到实处。
当然,目前的AI应用更多地还是传统应用+AI插件的方式,AI更像是一种扩展能力。或许在未来,我们的应用都将是直接建立在AI的基础上,让AI融入每一行代码。
到那个时候,“AI PC”就只是PC了!


财经自媒体联盟

4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有