导读随着人工智能和大模型在金融行业不断应用,传统数据治理面临着新的挑战,建立高效的企业级数据管理体系,适应新的数据需求,全面展现数据治理工作的价值,成为金融行业和大型企业的热点话题。我们特别邀请来自平安人寿的王劲松老师为我们分享《平安人寿数据管理实践与期望》,王老师服务平安人寿 17 年,先后从事数据报表开发、IT 运维、数据管理、项目管理,目前主要负责公司数据治理工作,他将主要介绍平安人寿这一保险行业龙头企业是如何开展数据管理。
具体包括:
1. 平安人寿数据管理背景与挑战
2. 平安人寿数据管理实践
3.平安人寿数据管理展望
4. Q&A
分享嘉宾|王劲松平安人寿
编辑整理|钟晓华
内容校对|李瑶
出品社区|DataFun
01
平安人寿数据管理背景与挑战
首先来介绍平安人寿推进数据管理的背景以及面临的挑战。
1. 数据管理的外部要求和内部诉求
平安人寿作为金融企业,需服从国家金融监督管理总局、人民银行等部门的相关准则和监管规定,其中《银行保险机构公司治理准则》关注董事会对公司的数据治理,《银行业保险业数字化转型的指导意见》指导银行和保险业基于数据资产和数字化技术的金融创新,《银行保险监管统计管理办法》在银行业执行的是 EAST 5.0 标准,保险业也已经是 EAST 2.0 标准,对数据质量和数据管理的要求非常高,监管通过 EAST 报送数据发现企业经营的问题,如果发现问题,会引发处罚。
与此同时,企业内部也需要数据质量更高、更可信的数据,业务部门对数据的时效性、数据报表的上线速度要求越来越高。在成立 30 多年的平安人寿,业务团队更替频繁,新加入的业务人员希望更快学习和了解公司的业务,这就需要更便捷和更易用的数据服务体系。
2. 企业数据管理面临的问题
在数据应用和管理实践中,由于我们积累了成百上千的报表,业务人员经常会遇到数据找不到、数据口径不一致的情况,业务、技术的沟通成本相当高。在没有建立成熟的数据管理体系之前,面对“有什么数据、有多少数据”这样的问题,无法形成统一、有效的答案,我们往往只能回答一个量级(如 10 PB),或者覆盖销售渠道、保单、财务、人事、投资等领域。平安人寿的科技团队包括业务系统开发、数据系统开发、AI 技术开发,这就需要明确团队的边界、职责和协作关系。数据具有流动的特点,可能在不同的系统中有着相同的拷贝,某一个环节出现问题时,经常不知道应该找谁来解决。
3. 数据治理与数据管理的关系
关于数据治理与数据管理的区别,可以通过如下关系图来理解。数据开发是数据生产端,如个人 APP、保单承保系统,而数据应用则是数据消费端,包括大数据平台、数据仓库、BI 报表等。当应用发现原始数据质量有问题,或者要求源系统改进质量、提升效率,或者要求打通数据权限,这就需要通过数据管理机制打通开发到应用的链路,类似制造业的生产线管理、库存管理、质量管理等。
当数据管理的机制无法推进,就需要通过数据治理的介入。数据治理的核心作用包括企业级建章建制、企业顶层设计、打通各部门壁垒、推动流程优化,从而建立公司的数据管理能力。
4. 数据治理面临的挑战
在 2020 年接手数据治理时,我们面临诸多挑战。
第一,系统和数据库近千个,数据表十万级,数据字段千万级,我们需要进行全面的数据盘点,识别资产,明确质量、安全(分级分类)的要求,可以预见工作量巨大。
第二,面对增量数据问题,不管是业务还是开发,都会积极去弥补,而面对历史数据问题,相关的责任方因为各种主客观原因很难全力以赴。如果涉及监管报表的数据问题得不到及时解决,公司将面临监管部门处罚,团队压力巨大。此外,随着 AI、大模型技术发展,非结构化和半结构化数据相关的应用越来越多,对这部分数据的价值亟需启动研究。
第三,面向业务交付,会涉及到很多干系人,我们发现问题,无论是通过点状治理,还是通过典型问题推动全面的治理,都无法保证未来不再出现同类问题,治标不治本。
第四,数据治理和数据工具的工具相对而言是底层工具,在降本的压力之下,难以得到预算支持。缺乏工具,推进治理工作将面临非常大的阻力。
第五,意识问题是推动数据治理面临的最大挑战,如果岗位职责没有约定,团队普遍缺乏认领数据责任的勇气和主动性。因为数据是技术开发、系统里产生,所以业务人员更容易形成的理解是数据应该由技术团队负责。
下面,将全面介绍平安人寿的数据管理实践。
02
平安人寿数据管理实践
1. 数据管理框架
我们参考中国信通院编制的《数据资产管理实践白皮书》6.0 版本、国标的 DCMM 数据管理能力成熟度评估模型、国际上通行的 DAMA 知识体系等三个理论建立了平安人寿的数据管理框架。数据管理实施规划的目标是建立数据资产管理体系,提升数据管理能力,满足公司数字化转型和监管的要求,围绕这个目标,我们开展多项工作,如大家熟悉的元数据、数据标准、数据质量等管理活动,并建立健全企业各项保障机制,共涉及 16 项活动。
在推进落实的过程中,我们数据治理团队是常态化治理的主责单位,将治理融入业务和技术部门的日常工作中。同时,我们也会推进重点专项治理,以便迅速产出成果。
2. 数据管理活动分类
前面提到的 16 项管理活动,我们将其分为结果类(如数据质量、数据安全和数据价值)、过程类(元数据、数据标准等)和基础类(保障类活动),这些活动的协同,可以让数据工作开展起来更容易抓住重点、区分主次。
3. 数据管理组织架构
如果大家看过 DAMA,都知道数据治理是一把手工程,涉及部门众多。我们在组织层面成立了数据治理委员会,将公司高层全部纳入,整体工作向他们汇报,请他们指导。监管部门的要求则是要求董事会给予指导,那么在保险行业推动这个委员会的设立更加顺理成章。
数据治理委员会下设数据治理工作组,总部业务团队有五个中心(事业部),大约 60 多个部门,而科技有八个团队,为了提高工作效率,由各部门出代表组建工作组,每个代表至少是团队长级别或部门经理级别,借助他们的力量才能将相应工作往下推。执行团队中业务和技术都要参与,每个部门至少配置一名资深员工和分组经理,总共 200 多名执行层成员。
4. 数据管理工作模式
组织建立后,要保障组织的运作,需要明确运作模式。DAMA 理论上提出了集中式、联邦式(或网络式)、混合式等,我们选择了“网络式”,这是因为监管要求我们业务、数据和安全都要落实到人,每个部门要承担自己的数据管理工作。那么如何来保障这个虚拟组织的有效运作呢?我们通过会议或者督办机制来推进,设立了面向高层领导的年度汇报、工作组执行的双月汇报和不定期汇报的三级会议机制。
此外,需要注意的是,在保险公司有很多存在交叉的类似虚拟组织,如信息安全委员会、个人信息保护委员会、企业架构治理委员会等,我们需要将边界和协作关系理顺。
5. 数据管理角色
我们设计了三类角色来保障数据管理工作的有效推动:
运动员:各业务和技术部门就是“运动员”,负责提升本部门的数据管理能力;
教练员:研究行业最佳实践,结合本公司特点,思考有效的实施方案和路径,提出要求并指导“运动员”开展工作;
裁判员:监督各部门落实情况,针对各部门管理工作进行考核评价。
6. 数据管理制度
在保险这样的传统行业,特别是平安集团,对制度非常看重。没有制度约束,部门就没有执行的标准,各部门容易相互推诿。制度的建立也有助于新人学习和掌握公司的要求。我们建立了覆盖六大域(基础治理、数据质量、数据安全、数据开发、数据价值、监管报送)的四层管理制度体系,分别是:
政策:企业的顶层设计,类似宪法;
制度:分领域建立一些通用的要求和规则;
办法:各领域或各部门根据自身管理要求,基于上层制度去制定的具体的实施流程和要求;
规范:类似开发规范、命名规范和操作指引这样的实施指南。
7. 数据确权认责
前面我们提到意识问题,要解决这个问题,就需要将数据的责任分配给对应的业务和技术。在平安人寿,我们设计了一个认责三角形,分别是数据属主、数据消费者和数据管家。这里八个经验值得分享:
业务与科技角色:业务是属主和消费者,科技是类似物业的管家。
业务和科技的协作角色:数据生产部门是属主,而类似企划这样的分析部门就是消费者;一个部门分析出指标数据,他们是属主,但是同时也是其他数据(如交易明细)的消费者;科技团队之间也同样存在这样的协作关系,如源系统是属主、下游是消费者。
历史数据和增量数据认责:面对十万级别的数据表,千万级别的数据字段,针对历史数据和增量数据,需要采取不同的方法。
统一认责原则与方法:建立统一的认责方法,然后快速处理,避免简单要求执行部门去个性化判断。
对数据进行分类。
统一识别、分步确认。
充分利用组织和高层,推动快速决策。
8. 元数据管理
成功的元数据管理关键在于理念,首先要实现集中管理,避免在元数据上出现“烟囱”。其次,要积极完善缺失的元数据,包括监管要求的分类分级信息,同时要考虑将元数据与主数据(产品、客户等)、指标业务定义等拉通。在“用”这个环节,元数据对应用的支撑意义重大,特别是 ChatBI 这样的 AI 应用,要将业务自然语言转换为 SQL 去执行,很大程度上依赖于元数据是否准确。
9. 数据质量管理
质量管理的方法非常成熟,需要注意的是,改进质量的责任在源头、在属主,消费者是数据质量的受害者,同时也是数据质量的受益者。当属主没有动力去改进质量时,可以通过行政命令、制度约束等第三方监督来驱动,不仅要治标,还要关注治本,要推动责任部门将检视机制完善,成为日常习惯。这个案例是通过一个专项来提升质量,可以聚焦重点、有价值的数据去保障质量,不是必须对所有的数据同等对待。
10. 数据安全管理
数据安全管理是一项基础工作,平安人寿的这项工作是在平安的信息安全组织下来保障安全。我们将数据资产盘点出来,并做好分类分级,利用结果执行加密脱敏,最终在应用数据时,要能够辅助业务和科技判断数据的安全等级、控制策略。平安有个基本要求,就是敏感信息不出平安,这就是分类分级的一个标签。
11. 数据能力体系
有效的数据管理,可以将所有数据都开发成企业的数据能力,最终赋能给业务。
12. 数据管理机制加工具
数据管理工作中,机制与工具都很重要。如果单有工具,没有机制,没有意识,效果不会很好,阻力也很大,数据管理成效无法凸显。从科技团队角度,技术很先进,但是在业务应用却看不到效果,无法落实。在数据治理初期,机制比工具更重要,先把机制、管理职责、能力强化之后,再配套相应的工具。当大家都接受数据管理的理念后,再辅以工具提升效率,推进的阻力就没有那么大。
13. 第三方评估
平安人寿从 2020 年开始先推进自我评级,通过几年的建设,我们 2023 年通过第三方评估获得 DCMM 4 认证,后续我们的目标是通过第 5 级。第三方能力评级有助于客观检验我们的数据管理工作的优劣,发现短板并及时弥补。
14. 数据中台专项治理
我们通过一些专项治理不断提升数据中台的能力,下图是我们设计的评估指标。
我们用事前、事中、事后三个角色指导整体工作开展。
我们在大的框架下针对中台去完善第三层办法、第四层规范。
做好制度之后,我们秉承平安“制度建在流程上,流程建在工具上”这一文化,将制度和流程落实在工具上,要求大家执行。
最后,我们也会针对中台的数据,使用 6V 模型进行质量评估,如发现部分质量有问题,会通过专项去提升诸如客户信息、客户标签等公司最核心的指标的质量。
03
平安人寿数据管理展望
1. 非结构化/半结构化数据管理的持续探索
我们前面提到了大量的非结构化、半结构化数据,如何去管理,如何去用好,还需要持续探索。最近头条上的大模型训练数据被实习生“投毒”事件引发的损失据说很大,今后大模型应用的数据集如何去管理,需要我们高度重视,逐渐完善。
2. 数据资产化
国家已经提出了数据资产入表,目前我们还是在数据资源化到资产化的阶段,未来要走到资本化,让我们的数据变成企业的数据资产,这也是我们后面的目标。
3. 心得分享
最后分享一些心得。治理一定要先行,这是打基础的工作,即便领导层目前看不到,我们也需要默默地做好,逐步在数据价值上体现,以质量更高、更准地数据促进企业地工作更有效。数据治理是个长期复杂的工程,建议大家高处着眼、做好规划,细处用功、指导相关责任方寻找突破点,最后不惜代价解决问题、实处用力。
04
Q&A
Q1:如何形成方案来推动数据治理委员会的成立?
A1:我们去推动成立数据治理组织的时候,强调如下价值点,以便让领导认为成立组织有必要性:
第一个是外部的要求,如我们金融保险行业有监管的要求,公司必须组建立健全数据治理体系;
第二个是寻找内部能让领导有感觉的数据问题,如高层领导看到的指标,有业务领导认为指标口径不一致。
Q2:认责或者认权的过程中,各部门包括战略、企划或者其他角色去配合,IT 部门和他们具体是如何配合的?
A2:虽然身在科技,但是我做的事情,但是实际上以公正、第三方的角度去做,不是纯 IT 的思想。首先,确立统一的认责方法和原则,然后利用一些专家评判,如果觉得可以操作,就利用这个组织(如我提到的工作组)将要求下达执行。
Q3:处于创业阶段的公司,暂时做不到从架构和制度上自上而下做一个顶层设计,目前是从需求和业务侧去做一些点状的治理,还是更适合从第三方去才买一个成熟的治理平台来指引数据治理工作?
A3:首先关注科技和业务的配合程度、数据问题牵涉的广度,如果只是一个科技和业务或者几个业务沟通就可以解决,这就没有必要使用复杂的平台,但是如果已经成为普遍现象,就需要去考虑。
其次,完善相关机制,明确利益相关者,比如该监控的必须监控、源头要做校验、历史数据修复策略等等。
此外,关于工具,取决于大家是否接受这个工具,如果你和业务配合很到位,很多问题可以直接快速处理,不一定非要使用复杂流程和工具。平安很大,我们有 50 多个部门,有 10 个开发团队,且监管对流程要求也比较高,所以使用工具来运行流程、监督流程才有可能提高效率。
以上就是本次分享的内容,谢谢大家。
4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有