位居中国机器学习公有云市场份额第一,华为云 ModelArts 的进阶之路

位居中国机器学习公有云市场份额第一,华为云 ModelArts 的进阶之路
2021年01月14日 19:21 CSDN

近日,国际权威研究机构国际数据公司(IDC)发布的《中国AI云服务市场(2020上半年)跟踪》报告显示,华为云 ModelArts 位居机器学习公有云服务中国市场份额第一位。

数据来源:IDC《中国AI云服务市场半年度研究报告,2020H1》

AI 的背后是数据和应用,而这两样背后,都是专注创新的开发者在默默努力。从近两年的云&AI行业趋势看,“取悦开发者”是一个必然的趋势,他们对技术的变化是最为敏感的,也是云&AI 得以落地的关键环节。

也因此,围绕开发者们构建的AI开发平台逐渐从幕后走到台前。从业内来看,头部的几家云厂商们纷纷祭出大招,其中华为云在 2018 年推出了 AI 开发平台ModelArts,到2020年9月ModelArts 已经进阶到 3.0 版本。两年多时间,ModelArts 为何能位居机器学习公有云服务中国市场份额第一位?可以从最新推出的华为云 ModelArts 平台 3.0 说起。

华为云ModelArts 3.0 的推陈出新

具体而言,华为云 ModelArts 平台 3.0 版本,支持 10 万级别的企业任务同时运行,支持 10 万级别的用户规模同时使用,为开发者创造良好的 AI 开发环境,使其专注做创新的事情。

一般而言,优秀的分布式加速比是大规模集群分布式训练的关键能力,也是促使用户选择使用大规模集群来加速 AI 业务的关键因素,华为云 ModelArts 领先的分布式加速比能力,在 512 芯片的集群规模下成绩为 93.6 秒,优于 NVIDIA V100 的 120 秒。

从功能上看,ModelArts 3.0 版本相比之前带来了 4 个小惊喜:

1. 华为云 EI 骨干模型:基于行业小样本数据训练高精度模型

过去需要大量专家经验的模型选择和参数调节,有了华为云的全空间网络架构搜索和自动超参优化技术,可以在无需人工干预的情况下高效完成。过去需要几周甚至更长时间的模型训练和部署,有了华为云的计算资源调配和数据管理,可以缩短到几小时内甚至几分钟完成。

2. 联邦学习:打破数据孤岛,推动行业联合建模

数据是 AI 应用的基础,只有基于多样化的数据,才能实现AI智能感知。然而,在实际 AI 行业落地中,数据是分散在不同的数据控制者之间的,这就导致了行业 AI 应用的数据孤岛问题,使得 AI 算法训练效果受到限制。

针对这个问题,华为云 ModelArts 提供联邦学习特性,用户各自利用本地数据训练,不交换数据本身,只用加密方式交换更新的模型参数,实现联合建模。

3. 模型智能评估、诊断:降低AI行业落地门槛

在 ModelArts 上使用模型评估功能,是在得到首次训练的模型之后,先将模型推理结果、原始图像和真实标签送入模型评估模块中,这个模块会从数据、模型两个方面对模型的综合能力,包括精度、性能、可信和可解释性进行综合评估,最终针对可能存在的问题输出一些改进模型能力的诊断建议。开发者在这些建议的帮助下,使模型达标,并最终部署成能实际应用的推理服务。

4. 高性能AI计算:资源灵活调度加速行业AI落地

作为 AI 平台云服务,弹性训练是 ModelArts 推出的核心能力之一,可以根据模型训练速度的要求自适应匹配最佳资源数。

具体在产品上,ModelArts 提供两种模式:

一是 Turbo 模式,可以充分利用空闲资源加速已有训练作业,在大多数典型场景下加速效率大于 80%,训练速度提升 10 倍,并且不影响模型收敛精度;

二是 Economic 模式,可以通过最大化资源利用率给开发者提供极致的性价比,在大多数典型场景下可以提升性价比 30% 以上,并且不影响模型收敛精度。

变与不变

可以看到,在 ModelArts3.0 新版本中,华为云带来了新的玩法,提供全流程极简开发工具,即使是普通的业务人员,基于已有组件,通过拖拽方式即可构建应用。这背后,与 ModelArts 平台的本质并无二致,依旧是围绕着开发者的需求与痛点展开,通过AI模型不断地和实际落地场景交互来得到更优的模型,进而提升AI开发流程的效率。

在 1.0 版本中(2018年),ModelArts 解决了 AI 一站式开发的行业痛点,华为云打造了一款极简易上手的 AI 平台,致敬开发者。

在 2.0 版本中(2019年),新增自动学习、端边云能力协同,ModelArts 关键能力凸显。ModelArts 2.0 以全流程的极简和自动化升级已有的 AI 开发模式,让数据准备、算法开发、模型训练、模型管理、模型推理全链条产生质的飞越。

而在 3.0 版本中(2020年),平台驶入深水区,辅助AI深入到各行业生产系统。目前华为云已在 10 多个行业成功交付了 600 多个AI项目,积累了丰富的经验。为了解决企业深入使用端到端生产而推出骨干模型、联邦学习等新功能。华为云 EI 骨干模型(EI-Backbone)技术,基于行业小样本数据训练高精度模型,提供了 AI 开发的新范式。

可见,版本的演进背后,是新技术趋势不断与行业生产结合,是数字世界供给与物理世界需求不断碰撞的结果。

一直以来,深度学习分布式训练不断发展,各类模型的训练对于计算设备的需求越来越大,不过由于各种原因,训练作业的资源还没有被充分利用。比如训练算法代码本身质量不高、资源利用率低;模型大小和超参数的设置也会显著地改变计算资源的利用率;资源池整体利用率有波动,类似于“峰谷电”,训练作业的提交也有高峰期和低谷期,造成很大的资源浪费。

这就不得不提到 ModelArts3.0 的弹性训练能力。

可见,智能并不是一蹴而就的,而是逐渐进化的,最终从 AI 开发环节进入到 AI 落地的每一个场景。

客户“用脚投票”背后的价值体现

IDC 报告指出:华为在国内市场具有先天的认知优势,开发者对于华为的技术、产品、品牌有天然的认知和信赖,很多开发者会非常自然的愿意尝试。华为云一站式 AI 开发平台 ModelArts 在行业用户中的主动提及率非常高。

客户是喜欢用脚投票的——这一点体现在 ModelArts 的行业落地属性上。有2个案例非常经典,一个是华为云 ModelArts 支持候鸟保护计划,另一个是华为云 ModelArts 正在支持中科院构建斑马鱼的全脑图谱。

在另一个项目中,中科院正在基于 ModelArts 绘制斑马鱼脑联接组的全息地图,目前重构准确率和召回率已达 95%。

中科院脑智卓越中心是一所将脑科学与智能技术相结合的研究实体,是一个了解大脑如何实现各种认知功能的一个机构,首先需要完成一个重要且必要的大科学工程,就是绘制全脑联接图谱。

其原理是:借助斑马鱼幼鱼透明的特点,机构可以应用钙成像技术来观察活体斑马鱼全脑 10 万个神经元的时空放电,从而绘制从各种感觉输入到行为输出的全脑活动图谱,并结合结构图谱来发掘大脑如何工作的普适规律,进而进行脑功能模拟和理论研究。

通过和华为合作,应用华为云 ModelArts 平台,使用 360 条斑马鱼图像样本所包含的近 20 万图像块的“金标准”标注数据,训练出了从前期图像分割到后期神经元形态追踪的一整套网络。

目前重构准确率和召回率已达 95%,如果使用多机并行计算,从理论上推算下来,10 万个神经元的总重构时间可以从 125 年缩短至 10 天。如果再扩展到小鼠甚至非人灵长类如猕猴,降本增效方面将更加可观。

当然,这离不开生命科学的知识和技术,也综合交叉了数学等学科,但是计算机科学特别是 AI 领域的技术与知识,正成为人类的助手,帮助人类绘制脑图谱,更帮助人类实现新领域的突破。

学AI,就用ModelArts

华为云致力成为最佳应用构建平台。截至 2020 年 9 月,华为云已上线 210+ 云服务、210+ 解决方案,汇聚 150 万全球开发者。

就像华为公司副总裁、华为云计算技术有限公司董事长郑叶来提到的那样,目前越来越多的人加入到开发者队列里来,而更好的工具将为他们创造更高的技术起点、更敏捷的构建能力、更广阔的商业成功,未来“云上开发”可以解决目前面临的困难。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部