金融数仓新变革:“从北峰攀登珠峰”

金融数仓新变革:“从北峰攀登珠峰”
2023年04月17日 12:14 轻金融

正如华为云的“攀登珠峰论”,数据仓库的发展也像从北峰登顶,困难、充满挑战,但是需要迎难而上。

来源:轻金融 作者:李静瑕

“未来银行从业人员如果没有数据思维能力,就像30年前进银行不会算盘、20年前进银行不懂计算机,将被历史淘汰。”谈及数据的重要性时,一位国有大行副行长如是指出。

当下,数据要素的价值正在得到前所未有的提升。政策一路加持,加上国家数据局的组建,有望推动数据基础制度建设、数据资源整合共享和开发利用加快。

“数据生产力”的提高,需要数据生产关系有相应的提升。作为数据规模最为庞大、数据能力要求最高的行业之一,金融机构需要新一代金融数仓来打通数字化与价值创造的通路,推动数据资产的价值提升出现翻天覆地的变化。

放眼数据仓库领域,以华为云数据仓库为代表,通过发挥强大的存储、计算能力,对所有业务数据进行整合分析,从而实现精准的信息抽取、加工和分发,正在银行业掀起一轮从传统数据仓库,加速向云原生数据仓库迁移的行业变革。

01

金融数据资产通向价值之路

数据是金融之源。

十年前,互联网企业带着“互联网+”闯入金融行业,彼时,如果你问谁是拥有最多数据的企业,答案是当时处于被颠覆中的传统银行,他们拥有庞大的数据基础、历史更悠久的数据沉淀以及更高含金量的金融数据。

十年之后的今天,银行拥有的数据优势并未改变。而十年间,从“数据二十条”、《银行业保险业数据管理》等政策的落地,到数据库、数据仓库、大数据平台、数据中台等技术应用层出不穷,银行正在将数据这座金山转化为真正的资产。

不过,随着金融行业进入高并发、大规模爆发时期,这给银行带来了新挑战。一方面,要处理结构化、非结构化等多元化、来源复杂的数据,另一方面,客户需求的变化需要银行不断打通数据形成共享,实现实时化复杂场景的数据运用。

“要快、要大、共享、成体系”,要想让数据资产创造价值,这是银行激活数据价值的要求。

如何让所有银行、每个银行人能切身感受到数字化效率的提升,给用户更极致的体验和服务,需要全行上下形成数字化经营理念,拥有数据思维、激活数据资产的价值成为重要突破口。

拥有数据,还要拥有数据能力,这是银行数据资产走向价值创造的唯一途径,亦是数字化转型的核心竞争力。那么,数据能力包括哪些方面呢?

一是“书同文,车同轨”,地基要打牢。银行高并发、大规模数据的爆发需要进一步推进数据治理,统一数据标准以及统一的数据平台是基础;二是高效的数据使用能力,打造数据高速“通道”,保证数据使用的权责清晰;三是数据分析能力,数据资产价值深度挖掘是大势所趋,为业务发展和经营管理提供强大的数据引擎。

要构建强大的数据能力,数据仓库成为越来越多银行数字化转型基础设施建设的核心工具。数据仓库是一种分析型数据库,主要用于数据处理、查询、分析,银行发展数据仓库已经有20年的历史。

然而,通过数据仓库等工具推动金融数据从“资产”通向价值创造之路上,仍需要破解一系列难题。

首先是平衡高扩展性与高成本,传统数仓一体机架构拓展需要高昂的成本;其次是银行数据仓库的建设不再是一个产品的问题,而是需要建立体系化的构建思维;最后则是技术自主可控的能力亟需加强。

可以说,数据的“收、存、管、用”每一步都不可或缺,最终才能达到价值创造的终极目标。同时,也要让数据资产走向一线业务人员,人人用数才能更大程度上挖掘数据资产的价值。

02

金融数仓新爆发到来

工欲善其事必先利其器。

金融行业是部署数据仓库最早也是应用最广泛的行业之一。1998年,银行业内第一个成功可用的数据仓库投入使用,由招行联合SYBASE公司、奥尊电脑公司通过几个月的联合开发而成。彼时,招行所面对的是“金融电子化”的行业发展浪潮。

“批量数据处理完成进度整体提前2小时以上,业务用户查询时长缩短75%”;“集群扩容停机时长由12-24小时降至2-4小时,停机追批时长由1-2天降至业务零感知”;“1分钟内完成重要数据在新旧平台中的数据核对,让用户对替换过程无感知”。

2022年8月,招行采用华为云GaussDB(DWS)统一架构建成了国内首个大规模金融云数仓,依托云原生特性,采用多层级、全并行的分布式架构。如今银行比拼的是抢占数智化的新高地。

为什么选择华为云数据仓库 GaussDB(DWS) 

从银行对金融数据仓库的构建方向来看,整体上是一致的,包括了分布式+云基础架构、高灵活性与高性价比、加速智能化应用、提升实时化数据分析能力。

当前,无论大小银行都在积极投入金融数仓的建设,推动金融数仓进入大爆发时期。中国信通院预计,2025年中国数据库市场总规模将达到688亿元,2021-2025年营收规模年复合增长率为23.4%。这也为国内的第三方厂商带来了巨大的机遇。

在金融数据仓库市场,华为一直都是行业领头羊。2011年华为开始储备OLAP技术,并于2014年首次对外上市,2020年华为开始预研云原生数仓架构,如今已然成型。

十年技术沉淀,华为云GaussDB(DWS)在金融领域已经有了多个商业模型。截止2022年底超过55.6%的国有大行和股份制银行选择使用GaussDB(DWS)。

《金融数据仓库发展报告(白皮书)》提到,在大型银行中,交行通过华为云GaussDB(DWS)构建湖仓一体架构,实时报表查询和分析,快速支撑业务决策;实时识别欺诈行为,风险案件降低52%;股份行中,光大银行用6个月时间,完成8000多张表、3000多个脚本、近3000个数据模型、5000多亿条数据等全量数据迁移工程。

中小银行中,中原银行基于GaussDB(DWS)融合数仓解决方案,支持3000+客户属性标签、300+客户行为事件自由组合筛选,达到秒级响应,有效客户数量提升11%、特色客群AUM提升8%;江苏农商行则基于华为云GaussDB(DWS)构建的全新一代数据平台架构,承载全行80个业务源系统数据,加载时长由5小时缩短至1小时。

可以说,华为云GaussDB(DWS)的成长离不开与这些金融机构的合作共创,其数据仓库产品,目前已服务海内外超过1700家客户。GaussDB(DWS)也构建了一系列核心技术竞争力,这也是诸多银行选择华为的关键点。

华为云GaussDB(DWS)采用存算管的三层分离的架构,进一步朝Serverless化的演进,拥有如下技术优势。

一是极致弹性与优异性能。存算管三层分离有可独立灵活伸缩,分钟级扩缩容等高灵活度的使用体验,无需数据重分布、拷贝。运用云原生架构,并匹配传统数仓的性能体验,用户可实现高并发百万QPS毫秒级点查询,以及万亿数据分析秒级响应。GaussDB(DWS)成为首个信通院认证单集群可达2048节点超大规模、全球最大金融商用规模的数据库集群,树立了业界标杆。

二是湖仓一体与数智融合。GaussDB(DWS) 湖仓一体化将数据仓库和数据湖的价值进行叠加,不仅提高原有数据仓库的可用性,优化了企业成本,而且为企业提供了极致的查询性能。

在数智融合方面,实现了数据生产线与AI生产线的高效配合。华为数据生产线到AI生产线有无缝数据通路,通过OBS实现和AI之间的数据共享;AI for data在数据分析过程中提供驱动AI训练和应用AI的推理能力。

三是极致安全&高可用。国内唯一通过数仓类国际CC安全等级认证,基于自研技术,实现了安全可靠、自主可控;经过了工商银行、招商银行、光大银行等金融业高标准、大规模的业务严苛考验和工程应用,实现了行业领先的高可靠性和先进性能。

华为云数仓GaussDB(DWS)提供针对性的服务体系,通过标准数仓、实时数仓以及IoT数仓,支持公有云、混合云部署、全场景一站式数据分析,云原生存算分离支持无限算力扩展。

除了十年技术以及经验的沉淀以及核心技术的竞争力,华为云本土化端到端服务体系也为其金融数仓做出了服务体验的加持。除了保证及时处理企业问题,还提供数据仓库等技术专家培训课程,协助用户培养人才梯队。

数据仓库迎来大爆发,银行快速推进数据资产价值创造也迎来历史性机遇,找对专业、优质的第三方合作伙伴势在必行。

03

奔向下一个十年

过去,银行等金融机构多选用Oracle、Teradata等商业数据仓库,如今,数据仓库国产替代有望带来更多新的市场机会。Gartner预测,到2025年,中国分析型数据库市场来自海外厂商的将只剩下30%,交易型数据库市场海外厂商市场也只会剩下50%左右。

可以预见,金融数据仓库国产化的新一轮大爆发将会是下一个十年的主题,也意味着金融数仓自主创新迎来新的爆点。

对于银行和第三方厂商而言,数据仓库的新技术爆发点会在哪里?华为云数据仓库技术专家曾预判,数据仓库的下一个十年发展趋势是,智慧数仓提供开放、融合、云化、实时、全场景分析。

一是云原生。天生存算分离、天生可扩展、天生TP、AP融合的特性,能够给数据仓库带来高弹性、高性能和高稳定性。随着金融数据大规模、多元化演进,未来将是算力的终极对决,因此云化是支撑强算力的基础。云原生与Serverless也能够给企业带来极高的成本弹性。

云原生是近几年比较火爆的概念,“生在云上”其实并非终点,如何理解云原生庞大的体系并构建与自身相适应的发展路径,并可持续演进才是金融数据仓库的归途。从全局思考布局云原生数据仓库,对银行而言无疑是一大挑战。

二是数智融合。“一切为业务服务”,银行的金融业务深入场景越多越复杂,对数据与AI深度融合对需求就越明显。数智融合所带来的是提升企业用数效率以及智能化分析能力,这都是提高数据能力的关键点。

三是人人用数,创造新价值。正如文章开头那位副行长所言,金融从业人员需要人人具备数字思维能力,数据仓库能够推动“人人用数”这个生产愿景。

华为有“攀登珠峰论”——在技术创新面前,哪怕珠穆朗玛的北坡更陡、更冷、难度更大,也要坚持走自己的创新路。 金融数据仓库未来十年发展,就像从北攀登珠峰一样,困难、充满挑战,第三方厂商需要足够的勇气与实力,迎难而上,银行亦如是。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部