AWS CTO 称 Nitron 重塑虚拟化:唯一能提供100 Gbps增强型以太网网络的云;相比其他云安全性更高

AWS CTO 称 Nitron 重塑虚拟化:唯一能提供100 Gbps增强型以太网网络的云;相比其他云安全性更高
2020年09月23日 23:35 云头条

2020年9月14日AWS CTO Werner Vogels发布了一篇博文,文章标题为《借助AWS Nitron系统重塑虚拟化!》,Werner Vogels称AWS是第一个也是唯一一个提供100 Gbps增强型以太网网络的云。并表示传统的虚拟化及其他云提供商的虚拟化都使用通用服务器。就其本质而言,这些包括多余的、不必要的组件和功能。这加大了安全漏洞面临的风险。相比之下,Nitro系统在使用专门定制的硬件以及专门为运行虚拟机管理程序而设计的服务器方面迈出了一大步。这不仅降低了安全漏洞的风险,还使我们能够将特定功能卸载到专用软硬件上,从而进一步尽量降低了虚拟机管理程序面临的风险。

以下为Werner Vogels发布的全文,由云头条编译,供大家参考,欢迎指正

运营一家规模像亚马逊这么庞大的公司,我们常常要解决其他公司之前从未遇到过的问题。这么做的缺点是,没有“实际”指导可供我们借鉴——许多东西都是未知的,需要一路摸索。然而优点是,当我们解决一个新问题时,也是重塑我们的服务,并为客户带来新好处的机会。的确,我们踏入一片从未涉足的地带时,也创造了一些最具创新性、最成功的想法。

如果贵公司是一家以客户为中心的公司,常常会发现处在一片未知的世界中,因为客户总是想要更多、想要更好。您需要为他们发明。AWS Nitro系统就是表明大胆创新和解决问题的这种方法的一个典例,这是我们EC2实例的底层平台。

我们在多年竭力优化传统虚拟化系统后明白,如果我们要继续为客户提高性能和安全性,就必须对架构进行重大改变。这番认识迫使我们重新思考一切,并成为了设计Nitro系统的灵感之源,这是第一个将虚拟化功能卸载到专用软硬件的基础架构平台。现在借助Nitro系统,我们可以提供云端的最佳性价比、最安全的环境以及步伐更快的创新。

不妨看看我们的团队设计Nitro系统时走过的历程以及结果对我们的客户意味着什么。

开始阶段

虚拟机管理程序是一款提供虚拟机的系统软件,用户可以在虚拟机上运行其操作系统和应用程序。虚拟机管理程序提供了虚拟机之间的隔离——虚拟机彼此独立运行,并允许不同的虚拟机运行各自的操作系统。现成的虚拟机管理程序向来不是为用于多租户云环境而设计的。但是借助深度调整和定制,可以让虚拟机管理程序适应真正的多租户模式,这简化了机器配置和管理,同时提高了利用率并降低了客户成本。

在EC2的早期,我们使用纯粹基于软件的Xen虚拟机管理程序来保护物理硬件和系统固件,对CPU、存储和网络进行虚拟化处理,并提供一套丰富的管理功能。但是如果使用这种架构,实例中多达30%的资源被分配给了虚拟机管理程序以及用于网络、存储和监测的运营管理。

图1、Xen虚拟机管理程序的EC2“实例”主机架构

30%这个比例很高,这种浪费没有为我们的客户带来直接价值。我们很清楚,如果我们想为客户大幅提高性能、安全性和敏捷性,必须将虚拟机管理程序的大部分功能迁移到专用硬件。于是,我们在2012年开始设计Nitro系统。

单向门

我们亚马逊常常谈论单向门决策和双向门决策。双向门决策很容易撤消,比如测试一种新的网页格式。借助这种类型的决策,您可以快速行动,因为即使花一点时间,也可以撤消决策。而单向门决策几乎不可能撤消,因此您必须有条理、谨慎、缓慢地进行决策,要认真协商。

设计Nitro系统是一个单向门决策。我们知道传统虚拟化技术的功能已跟不上我们发展的需要。我们要进行创新,但我们没有迅速或轻率地做出决策。整个过程包括长达五年的仔细反复试验,每一步验证了我们的前进方向。

Nitro系统包括三个主要部分:Nitro卡、Nitro安全芯片和Nitro虚拟机管理程序。Nitro卡是一系列板卡,可针对一些功能卸载和加速IO,包括虚拟私有云(VPC)、弹性块存储(EBS)和实例存储,从而提高整体系统性能。

我们在2013年推出了第一块C3实例类型的Nitro卸载卡,将网络进程卸载到硬件中。随后在2014年推出了C4实例类型,将EBS存储卸载到硬件中。至于C4实例类型,我们首次与一家名为Annapurna Labs的公司合作。对方的技术和团队给我们留下了深刻印象,我们在2015年初收购了Annapurna Labs。到2017年,我们卸载了最后一批组件,包括控制平面和剩余的I/O,并引入了一种新的虚拟机管理程序:C5实例类型的完整的Nitro系统。

对我们来说,这是意义重大的时刻。设计硬件颇具挑战性。这不仅从财务上来说是庞大投入,对众多员工而言也需要投入大量时间。Nitro系统上线后,所有努力没有白费。

图2、2017 Nitro系统的架构

Nitro架构还使我们能够使虚拟机管理程序层成为可选部分,并提供裸机实例。裸机实例使应用程序可以直接访问底层服务器的处理器和内存资源。

这对于需要访问硬件功能集(比如英特尔VT-x)的工作负载以及需要在非虚拟化环境中运行以满足许可或支持要求的应用程序来说非常重要。比如说,I3裸机实例使VMware能够直接在AWS托管基础架构上运行其完整的软件定义数据中心(SDDC)堆栈,包括ESXi虚拟机管理程序。

那么这对我们的客户意味着什么呢?意味着更好的性能和价格、增强的安全性以及步伐更快的创新。

客户影响

更好的性能和价格

使用Nitro系统,EC2面对CPU、网络和存储等资源有更好的性能,因为我们将这些功能转移到了专用的Nitro卡中。不必保留用于管理软件的资源,意味着可以省下更多的钱,从而惠及客户。

Nitro系统还影响虚拟机管理程序的抖动(jitter)。在云端,能够将抖动减少几微秒可以支持原本无法支持的场景。比如说,我们有个管理卫星的客户,它需要一种实时计算环境来支持与成群卫星之间的通信。具体来说,网络数据包响应必须在150µs之内,那样工作负载才能正常运行。传统的虚拟机管理程序根本无法支持这种类型的工作负载。

下面图3显示了该客户使用不同类型的实例(C4[使用Nitro前]、C5和I3.裸机)后的抖动比较。如您所见,若使用C5和I3.裸机,抖动明显低得多。您还能看到,非裸机实例中虚拟机管理程序对性能的影响很小。

图3、Nitro系统虚拟机管理程序改善了抖动

此外,Nitro系统还改善了存储延迟。在图4中,您可以看到通过卸载来自本地磁盘存储的开销,改善了存储延迟。实际上,我们针对网络进行优化的实例其性能最多提高了4倍。与第四代实例相比,连不是针对存储进行优化的实例:R5d实例也提供了更好的延迟。

图4、Nitro系统实例在存储方面的改进

最后,Nitro系统还提供了增强的网络性能。AWS是第一个也是唯一一个提供100 Gbps增强型以太网网络的云。这有助于需要更高吞吐量的工作负载,或受网络限制的工作负载(比如HPC应用程序)。这只有借助Nitro系统才能实现。

增强安全性

Nitro系统的最大好处之一就是增强安全性。首先,我们设计的Nitro系统能够在我们能想象到的最恶劣网络中运行。这不仅意味着对所有通信通道进行加密,还提供安全启动功能。虽然我们的数据中心网络高度安全,但这种设计使我们能够推出新产品。比如在去年,我们推出了AWS Outposts,它通过Nitro系统将AWS体验引入到本地数据中心。

其次,我们使用Nitro安全芯片设计出了拥有基于硬件的信任根(root of trust)的系统,从而使我们得以用密码技术持续衡量和验证系统。这让我们对运行的系统拥有远高于传统硬件的信任度。通过卸载和简化整个堆栈,我们还尽量精简了可信计算基础(TCB),从而提升对整个系统的信心。

第三,我们设计的Nitro系统让操作员的可访问性很有限。在典型的现成虚拟机管理程序中,管理员可以全面访问系统,还可以修改任何组件。相比之下,若是Nitro系统,操作员的唯一接口就是受限制的API,因而无法访问客户数据或者以未经批准的方式篡改系统。没有与“root”用户或SSH同等的机制,因此,Nitro系统提供了仅仅锁定传统的虚拟机管理程序所无法获得的置信度。

第四,传统的虚拟化及其他云提供商的虚拟化都使用通用服务器。就其本质而言,这些包括多余的、不必要的组件和功能。这加大了安全漏洞面临的风险。相比之下,Nitro系统在使用专门定制的硬件以及专门为运行虚拟机管理程序而设计的服务器方面迈出了一大步。这不仅降低了安全漏洞的风险,还使我们能够将特定功能卸载到专用软硬件上,从而进一步尽量降低了虚拟机管理程序面临的风险。

最后,借助Nitro系统,我们可以运用形式验证,证明Nitro系统没有bug,可以按预期的方式来运行。

步伐加快的创新

有了Nitro系统,我们可以通过将虚拟化功能卸载到专用硬件上,将EC2的架构分解成较小的模块。这些模块可以用许多不同的方式组装起来,从而使我们能够灵活地设计和快速交付EC2实例,计算、存储、内存和网络等方面有越来越多的选项可供选择。可以从下面的“Nitro支持创新”图中看出,自2017年发布Nitro系统以来,我们推出了数量近4倍的实例。因此,我们的客户有更广泛的工具可供选择,他们可以优化价格和性能。我们的创新步伐越快,客户的创新步伐也就越快。

图5、Nitro系统支持创新

持续创新

你选择将某件事视为问题还是机会对你如何处理它带来重大影响。我们选择将传统虚拟机管理程序的局限性视为设计一种全新架构的机会。

现在,有了Nitro系统,我们的客户可以享受更好的性能、增强的安全性以及类型更多的实例可供选择。我们还没有大功告成。如果您是一家以客户为中心的公司,您的产品永远不会完成,因为客户总是想要更多、总是想要更好。我期待每次都能满足客户的要求。

原文链接:https://www.allthingsdistributed.com/2020/09/reinventing-virtualization-with-aws-nitro.html

AWS CTO:重新审视云环境中的容器

AWS CTO:别等待完美了,不断从错误中学习

AWS CTO对过去十年的总结:十条军规

AWS 彻底败了:已判定微软中标是 100 亿美元JEDI云合同

5864亿元的公共云IaaS+PaaS大蛋糕:AWS 1969亿、微软1055亿、谷歌287亿、阿里270亿、IBM 240亿

AWS 正洽谈投资 Rackspace

全球3100亿元公共云IaaS大蛋糕:AWS 1393亿、微软554亿、阿里283亿、谷歌165亿、腾讯86亿、其他617亿

215 亿元的大蛋糕:阿里云 91亿、腾讯云 26亿、华为云 18.5亿、天翼云 16.8亿、AWS 14.4亿、其他 48亿

AWS 遭到创纪录的 2.3 Tbps DDoS 攻击:持续了 3 天

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部