实战 | 基于分布式与超融合架构的多场景云化转型实践_

文 / 财达证券股份有限公司首席信息官谢井民

财达证券股份有限公司信息技术中心总经理武永涛

财达证券股份有限公司信息技术中心副总经理杨涛

在如火如荼的金融业数字化转型大潮中，传统架构向软件定义、分布式架构和按需服务的云化转型已成为大势所趋。加速数字化转型、推进数智融合的业务创新成了证券行业机构打造差异化竞争、构建发展新格局的重要战略举措。

作为河北省证券行业的主力军，财达证券股份有限公司（以下简称财达证券）始终坚持用科技赋能业务，全方位推动信息化和数字化建设。为了更好应对复杂的业务形态与丰富多样的场景，财达证券积极探索基于分布式与超融合架构的云化转型，为业务系统提供安全稳健的IT基础架构。随着数字化转型的推进，财达证券一直注重业务与技术的相互融合、相互促进，并成立了相应的金融科技部门，致力于用金融科技赋能业务创新，而公司各业务线的快速发展，对技术带来了新的要求。随着业务的多样化与互联网化，要求基础架构能够弹性、稳定、安全地支持敏态业务。为此，财达证券积极推动IT基础架构的转型升级工作，从集中式专有技术架构向分布式、低时延、开放技术架构转型，使其具备高可用、高性能、低时延、易扩展及松耦合等特性。同时也要进一步提升安全防控能力，满足监管要求，保障金融数据安全与业务连续性。

选型思路

在对大型专有云、Openstack等多种技术路线进行考察后，财达证券关注到超融合架构具备如下特性与优势。一是软件定义和全分布式。超融合基于商用服务器硬件，以软件定义的方式和分布式架构为用户提供集成虚拟计算、虚拟存储及虚拟网络等基础架构服务。超融合集成了软件定义、分布式和集成部署带来的优势，形成了强大敏捷但又简单的基础架构。二是高可用架构。超融合集群一般由3个或3个以上节点组成，以分布式架构进行部署，可有效避免单点故障，并能提供故障自愈功能，具有良好的容错能力，保障了基础架构的高可用。三是企业级的容灾特性。凭借超融合存储与计算融合的架构以及软件定义能力，可提供原生的异步灾备甚至双活基础架构。四是接近公有云的敏捷性。超融合集群可以通过增加/删除节点，安全、轻松地完成资源的在线扩容/缩容，不影响正在运行的业务，实现灵活弹性扩容。五是高性价比。软件定义模式带来成本优势，超融合技术支持普通商用服务器硬件以及使用以太网进行传输，避免使用价格高昂的专用硬件，有效降低私有云中的硬件采购成本。

除了超融合架构本身的优势外，财达证券认为更重要的是超融合架构属于轻量级的云底座，非常适合券商自身的发展。券商的IT基础架构规模一般为几千服务器或更少，如果选用云需要较大的底座支撑，会造成成本投入过高。因此，财达证券决定引入分布式、轻量级的云底座——超融合架构进行云化改造，为核心业务、敏态业务提供有力支撑，同时支持数据保护和容灾。

超融合部署情况

考虑到未来信创转型需求，从2019年部署以来，财达证券已经累计扩容5次，部署总节点数超过100个，将除了核心柜台外的全部生产系统以及数据库都逐步迁移到超融合平台。引入超融合架构后，财达证券的IT建设模式由传统的按项目建设转变为按容量建设，可以应对业务的快速变化，有效缩短了建设周期。

在此基础上，考虑到证券行业行情发布时延的不断降低以及数据保护重要性的日益提升，财达证券进一步探索了极速交易平台和双活集群的实践。

极速交易平台建设实践

1.极速交易平台建设背景

随着资本市场发展，以及大数据、云计算、人工智能对金融业的变革，私募量化交易市场规模和份额不断扩大，量化交易市场未来具有巨大发展空间，这些客户对于交易系统性能和技术要求越来越高。而传统柜台的订单申报效率（延时与并发）已经不能满足其需求，因此极速交易系统作为传统集中交易柜台的快速通道，将为投资者提供高性能、低延时的订单服务。

当下随着私募基金的市场规模增加，私募基金的交易策略更趋丰富，极速交易系统成为交易服务的有利配置。券商提供更快捷的交易系统，将引来更多活跃客户，尤其是一些以中短线为主的量化基金，其交易频率高、交易量大，为券商创造的佣金收入是比较可观的，但另一方面策略交易的私募基金，对交易系统也提出了更完备的要求。

为了提高交易效率、降低委托延时，更好地吸引量化私募投资者落地开户，需要建设独立、高效的交易系统来拓展量化私募客户，改变现有客户交易结构，抢占机构客户交易这块重要市场的份额。

在极速交易系统中“微秒必争”是极速交易委托意愿达成的必要因素，券商不光需要专业的极速交易柜台软件还需要有相匹配的运行环境来作为支撑，在运行环境部分需要考虑如下因素。一是专业硬件服务器，采用经过专门优化过的硬件服务器，甚至是超频机来作为系统底层，也可以采用FPGA板卡来进行专业化定制。二是低时延主机网卡，通过在主机上使用专业的低时延网卡，减少主机端网络层的延时。三是低时延网络交换设备，通过采用专门的低时延网络交换机，减少网络层面的延时。四是托管机柜部署，通过将硬件基础环境部署在交易所托管机柜内，最大限度降低物理距离所产生的时延。五是操作系统定制优化，对操作系统进行定制优化，减少系统开销对于交易系统的性能影响。六是总体投入成本考量，对于关键模块，如交易、策略算法等模块采用裸金属部署方案，对于周边辅助模块，如接入模块选择虚拟机部署模式，采用物理与混合方式，发挥裸金属高性能与虚拟化高资源利用率易运维方案优势，降低总体成本。

2.极速交易平台建设方案

基于上述运行环境的综合考量，财达证券选择裸金属和虚拟机混合部署的方案来承载极速交易系统。图1为极速交易系统架构图，其中绿色模块采用超融合虚拟化方案承载，其余模块采用裸金属方案承载，财达证券通过极速交易系统的建设，实现了如下目标。

第一，业务效率提升。通过软硬件整体优化，使软件和硬件充分结合。通过操作系统配置优化、BIOS优化、内核优化、网卡优化等技术，实现了复杂业务低延时执行，目前低延技术平台基于网络的端对端通讯时延小于2.5ns，基于共享内存的端到端通讯时延小于70ns。

第二，业务连续性。核心模块通过组播实现了消息可靠传输、消息全局有序，同时使用数据持久化、数据同步、选举机制等实现高可用，实现RTO=6，RPO=0。周边模块通过虚拟化集群高可用方案实现本地RTO=2~3Min，RPO=0。

第三，分布式架构转型。低延技术平台软件通过主题和分区实现了可平行扩展的虚拟消息队列，从而支持模块的快速扩展，超融合虚拟化集群基于分布式架构，亦可按照节点进行规模化水平扩展，快速提供资源。

第四，机柜空间节省。裸金属与虚拟化混合方式，降低了总体物理机的数量，从而降低了机柜空间需求，以及减少硬件维护数量，降低维护成本并通过虚拟化统一管理方式提升了运维效率。

双活集群测试与实践

1.超融合平台双活集群建设背景

由于金融行业具有信息化程度高、安全性要求高的“双高”特点，财达证券从应用层、网络层、数据层等多方面进行不同方案的比较分析，综合考虑了同城灾备、异地灾备、两地三中心、双活、云灾备等解决方案。经过对恢复指标要求、技术成熟可靠、成本效益高等多方面的综合考量，确定采用同城双活的总体方案技术架构来实现跨站点集群数据保护和容灾，双活数据中心可以解决传统数据中心单一“主备”模式资源利用率低、可用性差、故障停机时间长、数据恢复慢等弊端。

双活是一种数据保护和容灾方案，提供RPO（数据恢复点目标）为0，RTO（恢复时间目标）为分钟级的站点失效容错能力。双活集群以拉伸形态部署，由两个可用域和一个仲裁节点组成。两个可用域与仲裁节点间通过网络连接通信。当一个可用域失效后，另一个可用域仍可以继续提供服务，从而获得可用域级别的容灾能力。

2.超融合平台双活集群建设方案

财达证券以中华商务作为主数据中心，运行核心业务系统；以开发区电信机房为灾备数据中心，承载主数据中心中华商务的灾难职能，庄家金融大厦数据中心运行少量管理类业务。主备机房间物理距离约为20km，网络往返延迟（基于ping测试）稳定在0.6ms。

通过当前各数据中心功能定位，财达证券将开发区电信机房和中华商务分别定位优先和次级可用域，庄家机房设定为仲裁站点，通过延伸集群技术，结合财达证券当前大二层双活网络能力，实现双活数据中心的构建。

双活平台上，规划费控和呼叫中心等轻型业务系统正进行试点运行，积累运维使用经验后将逐步扩展业务范围，最终实现业务RPO=0、RTO=0的双活数据中心架构。通过超融合搭建的双活集群为业务连续性提供了坚实“底座”，并为财达证券带来了如下收益。

第一，加强新建系统应急灾备。前期把全面预算、费控等近两年内的新建系统，尤其是因资源紧张等原因未在灾备机房建设灾备的业务系统迁移到双活集群，加强该部分系统的应急灾备级别。

第二，降低IT投入成本。后续无需再为双活集群中的系统建设灾备系统。

第三，减轻运维压力，提高业务连续性与合规性。过去应用系统版本升级迭代多采用手工手段，容易引起主备系统文件版本、参数配置不一致；生产、灾备系统的应急切换是自动化流程结合手工方式。上述情况给运维人员无论是工作量还是工作复杂程度都带来了很大的挑战。双活集群投产使用后，避免了上述环节带来的负面影响，提高了业务连续性、合规性。

第四，升级网络架构设计，提高系统应急能力。在双活集群建设以及后续向双活集群迁移系统的投产使用过程中拓宽了运维视野，在系统运维应急、网络架构设计方面打破了当下固有模式，开拓了应急升级、网络优化新思路。