5G时代数据量迎来爆发式增长,金山云混合云存储如何 “乘风破浪”?

5G时代数据量迎来爆发式增长,金山云混合云存储如何 “乘风破浪”?
2020年11月26日 15:42 麻省理工科技评论

近日,《演员请就位》第 2 季节目大火,截止 11 月 9 日中午,微博话题 “演员请就位” 已经创造 185.4 亿 的阅读量。仅第 2 季就发布 13 期视频,并提供蓝光、超清、高清、标清等几种清晰度供用户选择。如果用户想在 App 上,以超清清晰度缓存最新一期视频,需要整整 1G 内存。

以上只是日常生活场景中常见的一幕,在视频内容越来越受欢迎的当下,视频制作方的内容越来越多,清晰度也越来越高,海量存储和弹性扩容,成为亟待解决的难题。而这也会给企业数据存储带来更高要求,在此情况下,越来越多的公司开始选择上云。

公有云存储已成为很多企业的选择。但有相当一部分企业,出于对上云的安全性、兼容性和业务合规性等要求,不能全部迁入公有云存储。基于此,部分云服务厂商开始推出混合云存储,混合云存储可以搭建公有云、私有云和本地 IT 基础设施,从而实现资源的统一管理。但混合云存储仍面临着三大挑战:高性能弹性存储需求、多协议支持、数据生命周期管理需求。基于上述挑战,金山云已开始积极应对。

英特尔助力推出 “金山云混合云存储 ES” 系列产品

作为中国知名的独立云服务商,金山云有着深厚的存储基因,据金山云企业存储部总监袁冬表示:存储是金山云的起家业务之一。金山云的核心技术之一是 API 化,金山云平台支持全 API 交付,有了 API,才能做到自动化,才有可能针对海量存储数据和文件实现出色的管理。

自 2015 年金山云在业界首批推出混合云解决方案以来,该公司多次优化更新方案,并通过和英特尔合作,推出 “金山云混合云存储产品 ES” 系列产品。据袁冬介绍,该系列产品搭载第二代英特尔至强可扩展处理器、英特尔固态盘 DC P4510 系列和英特尔以太网融合网络适配器等技术,产品分为三款:ES3000 分布式块存储系统、ES5000 分布式文件存储系统、ES10000 分布式对象存储系统。

图| 金山云企业混合云存储产品家族

高性能、高可用性、高可靠性和可扩展性,是该系列产品的主要优势。具体来说,ES3000 分布式块存储系统,采用金山云弹性块存储(Elastic Block Storage,EBS)基础架构,能支持 iSCSI(Internet Small Computer System Interface,小型计算机系统接口)标准接口、快照和复制等特性,可满足企业在私有云平台存储、虚拟化平台存储、数据库、AI、大数据存储等场景的存储需求。

图| ES3000 分布式块存储系统

ES5000 分布式文件存储系统,支持常见标准文件接口,并能提供快照、复制、分层、一次写多次读等存储特性,可支撑广电媒资存储、高性能计算机群存储、医疗影像存储、AI、大数据等场景的存储需求。

图| ES5000 分布式文件存储系统

ES10000 分布式对象存储系统,基于金山云对象存储(Kingsoft Cloud Standard Storage Service,KS3)基础架构,具备所有金山云公有云对象存储功能与特性,并可支持 iSCSI、CIFS、NFS 等接口,为企业提供海量非结构化数据存储服务。

图| ES10000 分布式对象存储系统

通过产品组合,部署高性能混合云存储系统

英特尔技术专家高明表示,英特尔对于合作伙伴一直都很开放,定期举办培训、研讨会,展示每年的研发计划、当前已有的产品、未来将有的产品和解决方案。通过不间断的交流,有问题随时解决的方式,解决混合云存储研发中遇到的很多难题。

硬件:使用第二代英特尔至强可扩展处理器和英特尔固态盘 DC P4510 系列

金山云与英特尔充分沟通、并经过实测评估选型之后,采用第二代英特尔至强可扩展处理器,来提供算力支撑。据悉,第二代英特尔至强可扩展处理器主要有四大优势:

1. 其拥有更高的每核性能,能在计算、存储和网络应用中,给计算密集型工作负载,提供高性能和可扩展性;

2. 得益于英特尔超级通道互联、Infrastructure Management 技术、高级矢量扩展 512(AVX-512)等领先功能,它可满足严苛的 I/O(Input/Output,输入 / 输出)密集型工作负载的需求,并能帮助云数据中心打造性能更强的服务和功能;

3. 该处理器可进一步提升 “金山云混合云存储 ES” 系列产品性能。它能提供更多、更新的企业级功能,既能满足混合云和数据驱动的需求,也能改善产品日常运营。

4. 其拥有较好的计算性能和 I/O 性能。金山云通过结合英特尔傲腾™固态盘、TLC 三层式储存和 QLC 规格的 3D NAND 闪存固态盘产品家族相结合,在英特尔至强可扩展平台上打造的存储平台,可对存储、缓存和内存上的海量数据进行高效管理。

在本次合作中,金山云还采用英特尔固态盘 DC P4510 系列,来作为分布式存储底层存储介质,该固态盘主要有三方面优点:

1. 英特尔固态盘 DC P4510 系列,基于英特尔 3D NAND 技术,并采用 NVMe 接口,以提供更高的存储密度,从而支持更广泛的工作负载应用;

2. 英特尔固态盘 DC P4510 系列还拥有智能固件算法、纠错功能、断电保护以及耐久性设计,可提供更好的 QoS(Quality of Service,服务质量),能保证数据存储的读写保护,处于更优的平衡状态;

3. 其年故障率(AFR,Annual Failure Rate)显著低于机械硬盘,能在存储系统可用性和稳定性方面,更好地满足 “金山云混合云存储 ES” 系列产品的要求。

软件:采用 SPDK 进行优化

SPDK (Storage Performance Development Kit) 是英特尔发布的一套基于 NVMe-SSD(Non-Volatile Memory Express-Solid State Disk,非易失性内存主机固态硬盘)的开发套件。高明表示,英特尔在上海有一个 SPDK 研发团队,跟金山云保持着长期合作,甚至可提供 7x24 小时的服务。

概括来说,SPDK 可有效整合英特尔的网络、数据和存储能力,从而充分发挥固态存储介质的性能。据袁冬透露,英特尔和金山云在 SPDK 上做了大量联合开发,如线上模型如何使用、线上模型和业务如何对应等。

具体来说,SPDK 可提供一组工具和库,用来编写高性能、可扩展的应用程序,其主要有六个优点:

1.SPDK 可通过使用多种技术来实现高性能,比如把驱动程序移到用户空间,从而避免系统调用;

2.SPDK 允许开发者从应用程序进行零拷贝访问;

3. 使用 SPDK 后,用户态的驱动可通过轮询硬件完成,而非依赖中断来完成,这有利于降低总延迟和减少延迟差异;

4. 并且和内核驱动相比,每个 CPU 内核的 IOPS(Input/Output Operations Per Second,一种磁盘性能评价指标)表现出更好的性能优势;

5.SPDK 具备 I/O 路径的无锁高性能模式,可避免 I/O 关键路径中所有的锁;

6.SPDK 还可依靠消息传递的方式,在多线程中共享资源,从而提高程序并行性。

除进行软硬结合的合作以外,英特尔还面向实际存储场景,联手金山云进行了混合云存储系统的底层优化,让固态存储介质的性能得以提升,在满足用户对产品性能的需求以外,还能降低总拥有成本。

据悉,该系列产品的客户,主要是大型企业如金融、医疗、电信、公共服务等。这类客户要的是云化的能力,即整个 IT 资源不再基于业务级构建,也不需要采购流程,而存在云端的,哪些部门要用,直接计算成本就可以。

合作展望:以存储创新,焕新企业数字化转型

谈及对于未来合作的展望,英特尔技术专家高明表示,金山云一直基于英特尔的平台,如 SSD 和网络等去打造云存储方案。英特尔也非常愿意把最先进的技术和服务提供给金山云,从而帮助金山云打造出最佳的存储方案。

袁冬则称:“英特尔对金山云的支持非常给力,SSD 是英特尔目前技术积累最雄厚的产品之一。我们也看到未来 SSD 会成为主流存储之一。金山云后续的解决方案,会基于 SSD 衍生出各种产品和方案。”

展望未来,双方还将依托产品与技术的持续创新,在更多层面上深化产品合作,推动金山云混合云存储产品的进一步探索与验证,继续提升混合云存储系统的性能、可用性等优势,以存储创新为企业的数字化转型注入新的发展动能。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部