华为AI-Ready数据基础设施,加速运营商构筑AI商业闭环

华为AI-Ready数据基础设施,加速运营商构筑AI商业闭环
2024年06月27日 22:55 通信产业报网

随着人工智能技术的不断演进,产业数字化的脚步日益加快,从“单点突破”向“泛在智能”的跨越已成为不可逆转的趋势。与此同时,当追逐大模型成为行业标准动作,面向大模型的新型智算中心成为新时期关注的焦点。作为整个网络周期的产业链条后端,AI时代也正在重新定义数据存储。

近日,2024年世界移动通信大会(MWCS)正式召开。笔者在此期间与华为数据存储产品线副总裁谢强强进行了一场深入对话。谢强强的见解深刻而独到,不仅为我们揭示了数据存储技术在当今数字化、网络化、智能化浪潮中的核心地位,同时,也分享了华为数据存储如何通过持续创新,推动整个产业的进步。

释放数据价值,智算中心迎大模型变革

当前,随着以ChatGPT、Sora、Gemini等为代表的系列大模型发布,不仅引爆全球科技圈,更加夯实了人工智能在未来改变人类生产生活方式、引发社会文明和竞争力代际跃迁的战略性地位。

我国高度重视AI技术发展,自2017年以来国家各部委和地方政府相继出台政策,指导AI产业发展规划,鼓励企业加大人才引进和研发力度,并明确指出要积极推动智算中心有序发展。

不同于传统的云数据中心和超算中心,智算中心是以GPU、AI加速卡等智能算力为核心、集约化建设的新型数据中心,作为国家信息通信基础设施的建设者和运营者,从智算中心建设出发,通信行业既为AI的发展提供基础设施支撑,也是AI应用落地的先行者。

其中,中国移动在2013年开始人工智能领域战略布局,其九天平台已具备在计算机视觉、自然语言处理、智能语音、网络智能化等多领域的AI能力,跻身央企“AI国家队”;中国电信基于云网融合优势以及天翼云多年的技术沉淀,自研了星辰AI大模型,构建了语义、语音、视觉及多模态大模型完备的基础框架,并于今年全面开源;中国联通也发布了元景大模型,仅在工业领域就实现了力服装个性化定制、产品质量检测、生产安全管理等功能。

在快速布局大模型的同时,运营商发现,早期建设的智算中心,以承载中小模型、赋能企业数智化转型为主要目的,在技术标准、生态构建、业务发展和全局运营等各方面仍有待提升,面向大模型的新型智算中心成为运营商关注的焦点。

与此同时,站在运营商的视角下,当运营商准备就绪迎接AI时代时,他们往往面临着两大问题。前者是客户内部的数据割裂,高价值的数据往往分散在各个部门,缺乏统一的整合和管理,导致了数据的碎片化,影响了数据价值的最大化;后者则是在能力外溢的过程中,如何确保有价值的数据能够快速、安全地流动,以实现更高效的业务运营和客户服务。

由此,对于AI大模型发展,谢强强提出,缺数据无AI,数据规模和质量决定AI智能的高度,只有通过盘活数据资产,加速AI全流程,才能充分发挥数据价值。

AI-Ready数据基础设施参考架构,从“堆算力”到“挖潜力”

去年8月,中国移动在《NICC新型智算中心技术体系白皮书》中明确提出,NICC新型智算中心技术体系架构需要在互联、算效、存储、平台、节能五大领域进行系统化的重构,才能支撑起大模型对千行百业的革新与改造,并且,通过对“新存储-挖掘数据价值”的详细阐述,中国移动表明了智算场景存储面临的性能,容量和调度关键挑战,提出多协议融合存储贯通异构数据,全局统一存储打破单体局限和基于计算总线构建统一内存池等解决方案。

事实上,数据基础设施是大模型的“粮仓”为大模型提供数据养料,没有充足、优质的数据,大模型的学习能力将大打折扣;其次,数据基础设施的完善程度直接影响大模型的训练速度和可用度,进而影响大模型在各个领域的发展速度。

当前运营商的中心AI集群规模已迈入万卡、十万卡时代,同时边缘AI大模型也加速向行业渗透。

为使能行业智能化升级与创新,华为提出AI-Ready的数据基础设施参考架构以及解决方案,帮助运营商客户构建安全、可靠、开放的AI数据基础设施。

据谢强强介绍,当前AI-Ready的数据基础设施参考架构已在两大场景得到落地。

一是中心训练的智算中心场景。针对万卡集群算力增长的非线性、数据孤岛、AI大模型数据量激增三大问题,华为提出采用“AI数据湖解决方案”,该方案运用统一命名空间、智能数据分级、数控分离及内生安全等技术,以确保数据强一致性访问,提升集群的利用率,减少GPU的等待时间,显著提升AI集群的整体可用性和运算效率。

二是边缘训推ToB场景。制造、医疗、教育等行业拥有丰富数据和应用场景,适合深度应用AI大模型,运营商也致力于帮助企业进行AI改造,以提升效率和创新力。对此。华为改造方案逐渐聚焦于RAG,并辅以模型微调,以克服时效性、推理精度和交互性等问题,并通过与运营商合作,提供全方位的边缘训推解决方案,包括安装、数据处理、模型微调、应用开发和运维优化,以消除大模型在企业应用的落地障碍。

从技术架构来看,AI-Ready的基础设施作为核心支撑,涵盖规模计算、高效存储、无损网络。然而,在大模型训练过程中,数据在计算、存储、网络频繁移动,增加了系统开销,降低了AI集群系统的整体效率,如果存储的读写性能不足,会导致昂贵的计算资源处于等待状态而闲置。大模型的参数和数据规模都呈指数级增长,对存储的扩展性、稳定性、性能、时延等都提出更高要求。

而华为AI-Ready的数据基础设施的参考架构,正是实现了AI大模型发展从“堆算力”到“挖潜力”的转变。

过去,为了提高AI的性能,运营商正不断地堆砌更多的计算资源,这种做法不仅成本高昂,而且能源消耗巨大,不利于AI技术的可持续发展。事实上,AI集群就像一个成本和能耗的“吞金兽”,随着算力的提升,其所需的成本和能源消耗也呈现出惊人的增长趋势。

以GPT3为例,其单次训练的电力消耗竟然相当于500吨CO2的排放当量,这大致等同于300个家庭一年的用电量。更为惊人的是,Sora的单次训练消耗是GPT3的1000倍。这样的能源消耗量不仅令人咋舌,而且也让我们不得不思考,在追求AI技术进步的同时,我们是否也在无形中加剧了环境压力,能源问题的凸显,成为制约其进一步发展的重要因素。

对此,华为AI-Ready的数据基础设施参考架构,通过合理配置存储集群的性能,以及选择高性能、高可靠的存储解决方案,显著提升AI集群的可用度,通过降低AI开发和运营成本,以及拓展AI在边缘领域的应用,加速实现运营商的AI商业闭环。

从幕后走向台前,助力运营商构筑新商业闭环

数字经济是继农业经济、工业经济之后的主要经济形态,当前数字经济发展速度之快、辐射范围之广、影响程度之深前所未有,正推动生产方式、生活方式和治理方式的深刻变革,成为重组全球要素资源、重塑全球经济结构、改变全球竞争格局的关键力量。

作为数字经济的重要参与者,目前运营商都在积极跟进人工智能发展机遇,发挥数据要素乘数作用,加快人工智能及大数据领域的技术研发和应用落地,不仅为自身的高质量发展构筑“第二曲线”,也为战略性新兴产业和未来产业提供数字“新引擎”。

事实上,数据作为数字经济核心生产要素,务必确保其安全性、完整性、可用性,特别是对于运营商而言,其不仅拥有海量的用户数据,还是连接用户和服务提供商的重要桥梁,储作为数据保留存放的载体,本身的安全和自主可控,显得愈发重要。

目前,通过持续的创新,华为在存储产业已经实现了100%的自主可控,产品线涵盖SAN存储、NAS存储、统一(混合)存储、全闪存储及分布式存储等多种类型。

事实上,数据存储位于整个网络周期的产业链条后端,这一位置特性使其在整体AI基础设施中的角色显得相对隐蔽,往往难以被产业链直观地感知到其存在和重要性。

如今,AI时代让数据成为推动产业发展的核心要素。从某种程度上说,没有数据,AI就无从谈起。存储产业不仅应该致力于打破数据孤岛,推动数据的共享和流通,更要通过优化数据存储、提升数据质量、加强数据安全和促进数据流动,将为AI时代发展提供有力支撑。

相关数据显示,全球数据存储产业规模已接近3000亿美元,未来市场空间巨大,并将持续保持高速增长态势。据IDC、Gartner等第三方咨询机构预测,我国存储产业规模到2025年,上游产业链将超过2600亿元人民币,中下游超过8000亿元,我国存储产业直接投资总额将超过万亿元规模。

作为信息技术的基石,存储产业不仅自身符合发展新质生产力的要求,也能结合新一代信息技术,催生出其他产业的新模式、新动能,可以预见,与AI时代相伴,存储产业在未来的发展中将展现出强大的生命力,成为推动数字经济和社会发展的关键力量。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部