华为“天才少年”的背后,是NVMe SSD驱动的数据中心存储革命

华为“天才少年”的背后,是NVMe SSD驱动的数据中心存储革命
2020年08月08日 23:21 科技正能量

几天前,两位“天才少年”同时入选华为,作为华中科技大学计算机专业毕业的博士生,他们分别以高达201万和156万签约,这个典型的知识创造财富的故事,不仅激励了无数年轻人对技术研究的向往,也让人看到了华为对核心技术人才的渴望。

我们发现,“天才少年”当中的一位的研究方向为新型存储介质(NVM,SMR),数据库和键值存储系统。这里面的NVM指向了NVMe,这正是当下数据中心固态硬盘领域最主要的协议。

我们知道,数字经济时代,是由数据中心所驱动的。而随着云计算、大数据、人工智能、5G等新技术与数字经济不断融合,使得企业对数据响应速度的要求越来越高。同时海量数据的激增,以及非结构化数据等数据类型的丰富,都对数据中心存储提出了新的需求。所以,如SSD介质和NVMe高速互连协议逐渐成为数据中心存储的主流。

有权威数据显示,在2019年,NVMe SSD就已经超过传统SATA在数据中心固态硬盘的占比,现在更是已经超过了包括SATA和SAS SSD其他所有的品类,成为了数据中心固态硬盘最重要的选择。很显然,NVMe SSD正在引发数据中心存储的革命。

NVMe主流化,用户需求是最大的驱动因素

实际上,NVMe的出现和发展,完全是一件与“快”有关的故事。

过去几年,由于互联网+和企业数字化转型的驱动,数据中心的性能发展也可以用飞速来形容,如服务器从单核到多核,从x86到GPU异构计算,处理能力提升百倍以上;存储介质从HDD全面转向SSD,性能也有百倍提升。但在计算和存储捅破性能天花板后,网络协议反而成为了数据中心的新性能瓶颈,这就是NVMe协议诞生的价值。

早在2010年,NVMe最初作为一种硬盘接口协议而出现,它的目标就是充分发挥SSD介质颗粒的性能,释放存储系统的巨大潜力。之后NVMe SSD逐渐被对性能有极高要求的云服务商广泛采用。

IDC的预测显示:服务于超大规模云客户、OEM厂商和终端用户的IT组织都将继续迁出传统的SATA和SAS接口。至2020年,NVMe有望占据企业级PCIe SSD总出货量的55%以上,并在2018-2023年间以38%的复合年增长率持续增长;同时根据Gartner预测,2022年NVMe SSD在存储中占比将达到52%,超越半壁江山,成为真正的主流。

到底有哪些因素在驱动NVMe SSD快速增长?

首先,2020年的新冠疫情,推动了大量基于线上业务的暴增,同时大幅提速了企业上云的需求,为了应对数字化业务需求的激增挑战,超大规模云和企业级数据中心在致力于不断克服瓶颈限制,力求稳定其基本应用程序的性能和可靠性。NVMe SSD就自然成为了一个重要的必选项。

其次,5G时代会催生大量的新应用,使得企业对数据响应速度的要求越来越高,对数据实时性价值的追求越来越高。数据显示,到2023年实时数据将占到全球数据圈24.5%的份额,这给存储系统带来了挑战。这一趋势,必然会让SSD得到更多的运用,以提升数据中心的运行效率。

第三,数据正在持续以惊人的速度增长,想要从数据中获取更多的价值,就需要采用新的技术和产品,所以SSD介质的迅速崛起,并且不断出现新的网络互连技术,本质上都是为了应对数据的挑战而发生的存储变革。

很显然,是用户需求的变化,催生了数据中心存储的改变,而NVMe SSD的主流化,其实是水到渠成。

知易行难,NVMe SSD有很多难题需要解决

但事情总有两面性,每一项新的技术从诞生到主流化,也必然要在不断的磨合中,寻找结合点,期间则需要技术领军企业对新技术的实用性,做持续的优化,以推动其更快的落地。

诚然,存储协议向更高效的NVMe协议发展毋庸置疑,但作为一种全新的协议,在带来极致性能的同时,也给盘片和系统的设计带来新的挑战。

首先,追求高性能的同时,带来安全性的挑战。因为企业存储领域通常采用双控冗余技术保障系统高可靠,但是基于PCIe的双端口技术是SSD设计面临的一个难题,目前有些厂家的SSD不是原生双PCIe端口,走这样的技术捷径必然导致系统可靠性的降低。

而华为自研SSD支持双端口技术,两个PCIe 3.0X2端口独立,互相不影响,为系统修复和异常处理提供了硬件基础,保证了系统双控冗余性,提升系统的可靠性。

其次,很多NVMe SSD无法支持热插拔,类似一些传统PCIe的热插拔的易用性体验不佳,特别是暴力热插拔会导致系统异常,业务中断。

在热插拔处理方面,华为存储在PCIe积累多年,具备完善的PCIe链路管理、PCIe异常处理技术、PCIe热拔插技术,并对PCIe驱动做了特殊设计,支持SSD盘在任何时间、以任何方式拔出,并提供端到端的PCIe系统可靠性,保障单盘更换或是发生故障时不扩散,保障系统可靠性。

第三,海量存储会催生大盘时代,这意味着,大容量的SSD可以容纳更多的数据,但是同时带来了空间占用和高能耗的挑战,最重要的是在硬盘重构时容易造成数据丢失。

华为全闪存采用创新的RAID-TP软件技术,它基于Erasure Code算法,将校验位做到支持1、2、3位可调,容忍同一个RAID组内1-3块盘同时失效,在3块盘同时失效的情况下能够容忍数据不丢失,业务不中断。据悉该项技术,业内大部分的存储厂家都做不到。

第四,存储单点的可靠性本身是一个难题,跨站点的数据可靠性设计更是一个大难题。

而在跨站点数据保护层面,得益于超过15年存储积累,华为NVMe全闪存具备完备的数据保护技术,快照、克隆、远程复制等技术帮助客户建立了从本地到同城数据中心,以及异地数据中心的层层递进的数据保护方案。

最后,高端存储行业是一个知识密集型的行业,需要大量专利技术堆砌,且长期缺乏优秀的底层技术人才。

所以华为主动对存储技术“天才少年”抛出橄榄枝。同时,华为存储还针对数据基础设施技术难题,设置“奥林帕斯奖”,奖励全球在数据基础设施领域取得突破性贡献的科研工作者。其目的都是为存储行业的技术迭代,积蓄更多的人才力量。

15年的研发投入,换来今日之收获

从存储行业进入到SSD时代以来,华为就一直是行业的技术领导者。自2005发布第一代自研SSD盘以来,华为在全闪存技术上的积累上已经超过了15年。华为目前是业界领先的,同时拥有自研SSD、自研控制器芯片和自研闪存存储操作系统技术的存储厂商。华为目前已经是存储行业内拥有SSD盘片级专利最多的厂家之一。

同时,在NVMe SSD的维度,华为针对NVMe协议做了深入的研究,在业内唯一端到端开发了NVMe SSD盘、NVMe闪存控制器和NVMe全闪存操作系统。基于强大的能力矩阵华为在业内率先实现了全系列端到端NVMe产品OceanStor Dorado V6全闪存存储。

值得一提的是,华为充分发挥跨领域技术融合的优势,实现从网络到存储的数据中心全栈NVMe优化,构建基于智能无损网络的端到端NOF+方案,时延低至75μs,领先业界平均水平30%。如Dorado系列就基于业界唯一的NOF+方案,实现2000万IOPS以及0.05ms时延,并以此,树立了性能新标杆。

持续稳定技术研发投入和对NVMe SSD发展趋势的预判,再加上核心产品的行业优势,让华为存储长期被全球的用户和调查机构认可。

在今年7月,DCIG发布的《DCIG 2020年-2021年全闪存阵列购买指南》当中,华为有OceanStor Dorado V6系列和OceanStor F V5系列入围推荐产品之中。DCIG作为前市场中主流全闪存阵列产品进行了全面的评估与排名,只有产品力达到业界顶尖水准的全闪存阵列产品才能入围推荐产品级别。华为OceanStor存储Dorado系列高端全闪存,能够达到6个9(99.9999%)可用性,是其能够入围的主要原因。

事实上,从最近一年的市场表现来看,华为存储已经取得了全方位的市场成长。比如,2019年底,IDC发布的报告显示:第三季度全球企业外部OEM存储系统支出同比增长1.3%。而华为存储取得了49.6%的增幅,成为了全球存储市场中的明星。可以肯定,是企业用户对华为存储的认可,推动了华为以跑赢大盘的速度成长,而全闪存在华为存储的业务当中,也是增速最快的产品线。

同时,根据Gartner发布的《2018通用存储阵列魔力四象限》报告,华为连续第三年被定义为存储领导者厂商,根据Gartner发布的《2019主存储魔力四象限》报告,华为被定义为主存储领导者厂商,战略完整性和执行能力进一步提升。

可以预计,数据量越来越大,数据处理越来越快的趋势,仍然会伴随着数字经济的腾飞表现得愈发明显,NVMe SSD所具备的低延时、高性能的特点,结合华为对这项技术在具体产品上的优化,势必会驱动数据中心存储革命不断走向深化。一个真正属于数据价值的时代,正快速向我们走来。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部