2024年6月1日,第十二届双态IT用户大会(成都)成功举办。本次会议由ITSS分会指导,ITSS数据中心运营管理组DCMG、双态IT论坛主办,四川省计算机学会、四川省信息技术应用创新产业联盟协办,共有来自金融、央国企等行业的300余人到场出席。
广发证券信息技术部执行董事苏兆聪从数字化转型框架、演进历程、设计理念、运维实践等方面介绍了广发证券云原生实践与运维体系建设情况。
以下为嘉宾演讲实录全文
为什么做云原生?云原生给我们带来了什么?广发证券从2014年启动云原生实践项目时就深入探讨了这个问题。
广发证券自成立以来,各项经营指标都始终位于行业的前列,同时也在进行数字化转型,以组织模式科技能力的提升为基础形成新的增长模式。通过业务经营模式的拓展,能够进行数字化的转型。其中,在我们的数字化转型框架里面也明确提出了云原生是我们的一项关键技术。
广发证券云原生技术的演进从研发管理、运维管理安全以及各项基础设施公共平台和服务都可以看到体系的完整性,并且整个云原生技术都包括在我们发展版图之内。
2013年云原生概念形成,我们将Docker投入生产试点。2014年是我们云原生的元年,Kubemetes(K8s)发布,我们正式向云原生架构转型。2015年,我们基于K8s发布了第一代容器云平台,采用边车模式进行服务治理,构建了微服务平台,并同步建设DevOps工具链。2015-2018年,我们的云原生技术蓬勃发展,包括容器、微服务、持续交付和DevOps方法论在内的整体建设路线都延续云原生计算基金会CNCF的概念进行。2019-2023年,我们从自研的云容器、云平台、微服务平台和中间件平台转向商业产品,开始云原生2.0的设计,借鉴厂商及自身经验进入云原生的新阶段。
广发证券的云原生体系主要遵循三点设计理念。
一是以云优先,云化一切。资源云化,通过云原生技术,将算力、存储、网络等资源集中管控,统一调度;服务云化,将系统所需的各种组件、能力,通过云原生技术进行共享、统一管理;数据云化,以云承载数据,形成弹性、流动的数据供给、处理及服务能力。
二是以我为主,为我所用。以我为主,云原生架构规划、建设、运维以有团队为何相信,厂商为辅,亲力亲为;能力整合,组件式整合优质产品,确保各项能力可替可换,避免行程单一厂商依赖;包容并蓄,选择通用性强 、兼容能力好的路线、方向、产品,确保技术中立。
三是价值导向,效率至上。稳定至上,不盲目追求技术最新、最前沿,以成熟度和稳定性作为首要前提;效率优先,各平台、组件、服务的建设,同步建立监控、配置、运维的自动化能力;成本透明,建立云基础设施计价模型,精细化个系统资源用量,使IT投入更有说服力。
随着云原生技术的不断发展,广发证券也加速向云原生2.0架构转型,提供更高效、更弹性,并且更符合成本效益的IT资源,实现研发和运维的降本增效,满足业务对算力和存储资源的需求。
广发证券的新一代容器云平台,采用通用的容器底座,承载了微服务、中间件、任务调度、API网关等组件。同时,基于先进的服务网格技术,对异构系统的进行服务治理。“一云多芯、多芯混合”是作为我们基础架构规划的出发点。
我们的云原生组件包括中间件平台、批量调度平台和API网关。其中,中间件平台,即基于容器云底座构建的高可用、云原生的中间件平台,它与微服务平台无缝对接,降低了研业务运维的工作量,提高了工作效率。其次是批量调度平台,通过构建分布式的批处理调度平台,实现与容器云底座的整合,实现云原生架构。充分利用集群资源高效处理海量数据,实现在离线业务混部,提升云资源的利用率。最后是API网关,作为微服务架构中关键基础组件,是外部流量的核心出入口, 功能包含了统一接入、协议适配、流量管理与容错、以及安全防护四大 基本功能,保障业务安全性与稳定性。
生产环境规模上,目前广发证券容器云平台承载的业务系统有200多个,占所有系统的45%,有超过200个Redis集群以及超90个的Kafka集群, K8s负载实例超过15000个,运行容器数超30000个,处理业务请求日均12亿次,峰值达16亿,最大并发请求每秒超160000次。总结来看,广发证券容器云平台具有负载粒度小、超高密度、高压缩比、混合架构的特点。
我们在云原生体系下的运维实践主要是针对人、场景和流程。对人,主要是一系列能力建设,包括运行分析能力、运维服务能力、应急管控能力、变更控制能力、运维开发能力以及重复性、操作性的工作分离。通过对人的能力的建设,建立人机协同的工作形式,打造智能化的平台管理模式。场景上,建立面向复杂、分布式、容器化的监控,建设运维智能算法中心,建设数字化效能管理系统,最后以场景驱动,沉淀专家经验,推动实现自动化运维。流程上,将系统稳定性左移到设计阶段,发布软件持续交付规范,已建立多环境的自动化发布。同时建立全线上化的IT服务目录,实现服务质量可度量,最后是应急能力闭环。
DevOps是广发证券云原生建设不可或缺的一部分,我们从自动化、标准化、协同化、可视化方面进行优化升级,同时整合现有的开发、测试、运维工具链,打造极致的体验,形成一站式研发、运维协作平台,从需求的引入,到开发编码、再到提交自动化测试,代码扫描、各项门禁的检测,到编译、制品,整个过程都是在该平台进行。
展望未来,我们主要探索以下三方面技术。一是边缘计算。针对我司机房分散,算力资源聚合难的情况,探索边缘计算的可行性,通过容器云平台扩展能力,实现对“云”(主数据中心)、“边”(IDC机房)服务器资源进行统一管控和调度,借助云边协同那关在公有云上的资源,形成一致体验。二是低时延组播技术。探索证券行业特有的高性能网络技术在容器环境下的应用,将云原生技术应用到交易低时延解决方案中,减少独占物理服务器资源的使用,提升服务器资源利用率 。三是eBPF技术。对时下最热的Linux eBPF技术进行跟踪和试点,探索eBPF技术的最佳应用场景,借助非入侵式的能力,期望能有效解决云原生技术带来的复杂性。我们会通过试验或使用该技术简化可观测性。
4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有