金毅:10x HTAP,企业级关系型数据库内核技术创新与演进

金毅:10x HTAP,企业级关系型数据库内核技术创新与演进
2023年04月17日 14:11 云和恩墨

导语

4月8日下午,为期两天的第十二届数据技术嘉年华(DTC 2023)在北京新云南皇冠假日酒店圆满落下帷幕。大会以“开源·融合·数字化——引领数据技术发展,释放数据要素价值”为主题,汇聚产学研各界精英到场交流。作为大会的协办方和重要合作伙伴,云和恩墨·本原数据技术合伙人张程伟、金毅在主论坛发表了题为《回归数据本原,企业级数据库的技术探究》的联合演讲。本篇文章对金毅的演讲内容进行了整理归纳,供大家学习参考。

在本次演讲中,金毅博士站在技术层面发表了一些对企业级关系型数据库内核在未来可能的技术创新和技术发展方向的一些思考

他首先简要回顾数据库技术发展历史,说道:“数据库发展从始至终都是围绕企业实际业务场景为中心,针对未来数据库技术发展的讨论需要建立在承认历史积累的深厚数据库技术理论基础之上。”总结当前影响数据库技术发展的几点趋势:第一点,新的硬件革新推动着软件重构,如众核能够提供非常高容量的单机计算能力,SSD替代了慢速机械硬盘,给主存和磁盘之间的交换能力提供了质的飞跃, 单机计算能力相较于传统数据库内核成型的时期已经发生巨大飞跃;第二点,当前云化成为重要发展趋势,如何在云的环境下利用好云的弹性扩展能力,以及以LOG  IS  DB对传统数据库内核改造而实现在云上的关系型数据服务是我们需要思考的问题;第三点,关于HTAP,在实际用户场景中,我们更加需要对在线交易数据实现就近实时的分析,将数据对客户的价值及时的发挥出来。

衡量一个技术在数据库内核当中是否是成功的运用和有效,有一个非常简单的标准:在固定的数据计算负载前提下,能够为客户提供最低成本的方案,就是最好的技术运用。把这样一个成本投入和给客户提供的事务所带来的收益利润进行整合,那么这里我们引入了一个概念就是事务利润,越低成本投入获得越高事务处理能力,为客户带来更高业务容量就会带来更高的事务利润。只有事务利润空间有了,作为数据库和数据服务提供方与用户之间才更有找到共赢的最佳平衡点。因此,从全生命周期角度度量方案的事务利润可以更有效度量数据库技术给用户带来的价值。

相对于集中式方案,分布式方案从理论上来讲一定会产生额外的网络通信成本,会造成代码路径的延长和产生稳定性风险更大的问题。所以说分布式方案并不能提升客户的事务利润。因此,重新审视单机的性能发挥成为考虑的关键解决之道。如果单机性能能够得到数量级突破,在固定业务容量的前提下,小规模分布式方案可考虑简化成单机方案,大规模分布式方案可极大缩减系统实施规模;既简化硬件成本降低能耗碳排放,又提高系统稳定度减少系统维护成本,达到全生命周期的降本增效。所以,本场演讲的重点问题就是:我们能不能真正意义上实现单机性能的突破?

探究本原,要想提升数据库单机性能,金毅表示可以从以下几个技术角度思考:

一、服务器硬件趋势角度:

(1)众核。现在的单机很难在单核计算能力上有突破的进展,但是它的数量在突飞猛进,一台服务器上可以得到超过一百个核的运算能力。传统数据库内核并没有针对大规模并行计算进行优化,集中式数据结构的竞争热点,CPU cache缓存利用率低,CPU和DRAM主存间性能瓶颈问题严重等问题限制了众核并行性能的发挥。

(2)大内存。当前一台服务器的DRAM主存可以达到TB级,甚至于10TB,已经可以将一个业务系统中频繁使用的热交易数据完全驻留在内存里,这便意味着数据库内核设计和实现思想可以发生一个转变:我们可以把主存中的业务数据作为数据计算和优化核心,去思考如何有效的使用它,而不是放在磁盘中的数据。这样,以优化频繁发生的慢速I/O为主要目的的传统数据库内核实现思想,可以转变为以优化CPU和DRAM主存间性能瓶颈的新数据库内核实现思想。

(3)SSD高速磁盘。当前通过PCle到SSD,单盘就能够提供GB级每秒的I/O带宽,通过快速I/O能力,我们可以高效率的移出冷数据或将冷数据交换回DRAM主存成为热数据。这支撑了上述以内存中热数据为中心的设计实现。

二、数据库内核实现思考点(交易性能):

(1)指令效率低。经实验分析TPC-C的New Order事务中,真正有效用于产生数据计算的仅不到7%,由于传统架构数据库内核实现着重于优化慢速和高延迟I/O的性能问题,针对指令的优化问题被忽略,而在大比重围绕DRAM主存的数据计算中,其关键路径中无效的93%的指令可以通过采用新的数据结构和算法的实现尽量压缩和消除掉。这首先提供了单机性能可以达到10倍提升的基础。

(2)CPU与主存性能瓶颈。当数据库计算更多围绕主存发生的时候,解决CPU与主存性能瓶颈,提高CPU计算实际效率成为重点。该关注点也曾因传统设计思路被忽略。CPU Cache效率成为解决该瓶颈的关键,技术优化方面包括提高CPU Cache命中率,减少CPU Cache一致性同步和亲和性不足造成的CPU卡顿等待问题。

(3)竞争热点。传统数据库再各主要模块的内部实现中大量存在集中式访问对象,在众核大规模并发场景下,产生拥塞严重影响众核计算性能发挥,需要新的技术实现尽可能分拆并行访问间冲突,解放并行效率。

综合上述,金毅博士围绕数据库技术创新的的驱动要素展开分析并进一步提炼和定义了下一代10x HTAP原生数据库的架构:硬件发展(众核,CPU Cache,大容量内存,NVMe SSD)驱动软件算法与架构革新,以一个数量级提升资源利用率;云化资源催生云原生架构满足弹性负载;实时分析推动编译执行/向量化/SIMD加速融合。

DTC2023

结语

DTC 2023这场年度盛会虽已落幕,但它时隔两年见证了中国数据库的星光熠熠,见证了正在如火如荼迭代演进的数据库技术。作为其中一员,云和恩墨一直秉承初心,砥砺前行,不问前路,只争朝夕,正如云和恩墨创始人盖国强所说:“耕获菑畬,我们只有但问耕耘,莫问收获,坚持长期主义,才能迎来中国数据库坚定的发展未来。”

数据驱动,成就未来,云和恩墨,不负所托!

云和恩墨创立于2011年,以“数据驱动,成就未来”为使命,是智能的数据技术提供商。我们致力于将数据技术带给每个行业、每个组织、每个人,构建数据驱动的智能未来。

云和恩墨在数据承载(分布式存储、数据持续保护)、管理(数据库基础软件、数据库云管平台、数据技术服务)、加工(应用开发质量管控、数据模型管控、数字化转型咨询)和应用(数据服务化管理平台、数据智能分析处理、隐私计算)等领域为各个组织提供可信赖的产品、服务和解决方案,围绕用户需求,持续为客户创造价值,激发数据潜能,为成就未来敏捷高效的数字世界而不懈努力。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部