御数坊刘晨:面向全域数据与场景的数据治理方案支撑企业数据智能

御数坊刘晨:面向全域数据与场景的数据治理方案支撑企业数据智能
2020年10月19日 14:53 爱分析ifenxi

御数坊创始人&CEO 刘晨以《数据治理:数据智能的筑基工程》为主题,以行业客户的数据治理的痛点为切入点,分享了其对于数据治理的认知与思考。企业应该在业务源头进行数据治理,数据治理不仅是一套标准化工具,更是一套方法论,应当面向全域数据与场景,并与生态深度融合。以下内容根据现场演讲内容整理:

刘晨:大家下午好,刚才看了一下在前面三个演讲的嘉宾都是零售行业的,突然感到压力比较大,因为零售行业是离大家最近的行业,所以他们讲的场景都很鲜活,大家看我要讲的话题是什么,今年最热的话题是新基建,做数据智能的大家都很关注新基建,新基建已经很基础了,我要讲的数据治理是新基建的数据基础。

我自己是从2008年开始做数据治理的,理论方面,产品方面,各个行业的实践方面都有比较多的经验,也是通过做御数坊,能在这个过程中把对数据治理方法和产品更好地实践,并在各个行业场景落地。

先看数据治理的历史和现状挑战,数据治理究竟是怎么回事。这是我们经常用的一个数据价值的金字塔,数据智能是希望通过大数据平台、人工智能平台、数据中台把这个平台搭建起来,让企业已经有的资产整合应用,融合到各种零售场景、金融场景中,产生各种各样的数据价值,这是大家的一个美好预期。所有的行业都是这样的预期的,我们乙方的服务商也是这样期待的。但是我们面对的甲方客户信息化的历程实际上非常长,可能有20年,甚至30年以上的历史,面临着这些存量系统、存量数据资产的时候,这些数据其实存在着很多不准确、不一致、不可理解、质量不高各种各样的问题,就会制约平台建设。平台建设基础没有打好的话,上面的应用价值也发挥不出来,所以现在很多的客户几年前投资做大数据平台,再早做数据仓库,很多都是失败的,因为底层的数据治理没有做好,会造成工作效果不佳、投资不可靠。

数据治理对大家来说是近几年比较新的话题,前两天我参加了一个国内比较高端的讨论,从政府的层面参与到数据治理。国外数据治理已经有30年的历史了,国外的数据治理协会成立于1988年,中国真正开始做数据治理的时候,大概是在2011年,2011年我参与翻译的数据管理知识指南起到了一定普及作用,中国的数据治理相关国家标准2014年左右才开始建立。中国真正认识到数据治理的重要性是在2015年左右,大数据、互联网+这波浪潮起来的时候,而国外已经有很长的历史。

数据治理的知识体系分管理和治理,管理可能比较偏技术一点,数据模型、架构、数据质量、元数据各种各样的职能,其实在很多企业中都在开展这项工作,但因为缺少统筹规划、机制、工具,导致这些职能都是比较分散在做,对于数据智能的价值的体现并没有起到很好的支撑,这些职能的中心,是数据治理。数据治理工作过程中我们比较强调数据的生命周期,不能说等平台当中采集数据之后,才去关注数据,我们要在数据中台之前的源端业务系统中就要关注这些数据的治理。所以其实上午很多的嘉宾提到的,结合数据平台构建数据治理的工作,这点我们是要存疑的,作为数据拥有方来说,在中台中的资产,以及在中台外的资产其实都是数据资产,数据一定要从产生端、业务源头去治理,在ERP里面,CRM里面就要进行数据治理。

这张PPT想告诉大家其实数据治理有相对比较完整的体系,国外有书,国内也已经翻译引进进来并且也已形成一些实践,在实践过程中用八个字总结困惑:建设有余,见效不足。很多的大型企业很早就开始这项工作了,比如银行2004-2005年就开始了,通信运营商2005-2006年开始做,电网类的公司2008年左右开始做,大家投资不少也做了不少的工作,但出现很多的困难,最典型的就是业务价值怎样体现出来。企业出了很多的工作报告,做了很多的工具平台,但业务部门认为做这个事价值不是特别明显,没有解决业务的问题。还有些公司经常做体系性的规划,但是和本公司的实际情况结合得并不好,落地的切入点选择得不好,企业如果有很多的鲜活的场景的话,其实非常有利于数据治理的成效体现。

御数坊希望把自己对于数据治理的理念、方法工具的一些思路和思考,把自己的产品和服务中融入其中,在这个领域做一些创新。

下面我讲讲我们的解决方案和案例。这是我们的数据治理的整体结构图,上午有一位专家把数据治理整体作为数据智能的保障工作,我们现在把数据治理打开,看一下都有哪些内容。数据治理里面下面是要有数据治理平台支撑,中间有对于数据架构的管理、数据标准的管理,对很多的企业来讲,新增加的客户、客户的留存率、转化率等这些客户最关心的指标其实都需要有统一的标准,如果没有统一的标准,不同部门产生的指标数值不一样,就会造成数据不可信,就无法指导后面的渠道、门店的客户运营策略。

数据质量包括数据的真实性、完整性等等,还有最近几年数据安全提得比较多,企业也需要做数据安全治理。图中标红的就是我们要解决的业界提到的痛点的问题,数据价值体现不明显,我们就要场景化的数据治理,比如说银行会面临监管报送的场景,前段时间四大行都被银监会罚款,每家都在200-400万不等,就是因为没有达到监管要求。还有公司经营决策,比如说风险管控的报表要满足数据治理的质量要求,要做跨业务的融合,上面是我们做场景价值的体现,我们非常重视在任何一个企业任何一个行业优先找到数据治理哪个痛点最强,哪个场景最能体现价值,是设备数据、客户数据还是库存数据,要找到相应数据针对性做治理,这是我们的整体框架。

我们的解决方案把咨询服务和软件产品结合起来,形成一体化的数据治理解决方案。为什么这样,因为原来只做咨询服务的话,其实客户拿到的都是报告,看不到落地的效果,上午前面其他专家也讲到这一点,要有咨询,同时也要有一套比较扎实的工具。但是客户还不太熟悉数据治理是什么,如果只做工具的话,无法解决客户的痛点,所以一定要有整体的解决方案,通过咨询+产品一体化的方案,提供数据治理的能力。

我们的产品叫DGOffice,有三方面的特点和优势:

第一,我们强调场景化,一定要融入不同的场景中,是面对源系统还是数据中台的治理。

第二,有一套方法论,我们提供的不仅仅是技术平台,上面还有一套数据资产、数据标准、数据质量的方法论,依靠产品沉淀和输出数据治理思想。很多的客户拿到这个平台开始使用的时候,就按照比较规范数据治理方法开始工作了,降低了数据治理工作的入门门槛。

第三,有智能化赋能,以前做决策就是靠人,靠经验,但仅靠人成本比较高,我们基于NLP、知识图谱等智能化技术提高数据治理工作效率。这是我们解决方案中的三个理念。

对于源端的数据治理,我们做数据治理一定要摆脱固有的误区:只在中台做数据治理、只在大数据平台做数据治理,而忽视以前业务系统中的数据治理。实际上对于甲方企业来说,他们的核心业务是运营在原来的业务系统中的,如果那些业务系统中的数据有问题,比如说客户的账户信息不对,或者客户的联系方式不对,会直接导致其业务无法进行,有很大的风险;所以我们在源端做数据治理,有自己的一套方法,包括盘点资产、跨系统的数据打通,以及源端数据质量的管理,这个时候关键词是对现有资产的摸底,以及各个系统之间的横向贯通,比如ERP和CRM之间、CRM和财务系统之间,要保证核心业务之间没有断点,这是源端做数据治理的要点。

接下来是在中台做数据治理,数据集中到中台之后,要对数据进行模型和标准开发,要进行模型管控,进行从进入中台到输出到指标之后,整个全链路的数据管理,这个过程是中台建设本身有一些方法论。

案例:面向业务场景的专项治理,关注数据治理落地见效

接下来分享一个御数坊数据治理的案例。虽然做了这么长时间的数据治理,但这个案例实际上是我为数不多的,能把数据治理的业务价值进行量化的一个项目,是一个移动运营商的项目。这个客户做了大数据的发展规划,发现数据质量问题很多,集团对数据治理的要求很多,我们就结合刚才说的要选择业务场景的原则帮它优先选择短期在家庭宽带和渠道这两个模块,选择场景作为数据治理的优先切入点,而没有沿用市面上通常用的整体的体系性规划方法论。这种场景我们开始识别出十几个,最后聚焦到最热点的两个场景:酬金结算不准、订单数据不准,这两个问题导致公司被外部的合作伙伴投诉,有明显的市场压力,所以我们选择业务痛点比较明显的领域。

场景选清楚了,我们会选择这里面的核心业务流程和核心的数据流程,会确定究竟在这个场景当中最核心的数据应该治理哪些,最后得出结论,工号类、渠道类和组织类数据是主数据,要对这三类数据进行治理。治理的过程我们会对框架里的包括标准、质量规则进行设计,比如说帮助客户梳理出渠道体系有哪些分类、中文的含义和英文含义是什么、数据质量的认责矩阵、哪些数据哪个部门负责、数据有哪些规则等。把这些数据梳理好之后,一方面可以改造现有的业务系统,另外一方面用一些系统的数据治理平台功能固化下来,去解决问题,以后问题就不会重复再出现。

通过这样的工作,我们实现了三方面的效果。第一,底层可以改进数据质量,第二,可以消除其业务流程中的一些断点,改善业务运营,第三,提升业务绩效,业务绩效方面我们真的评估出错误数据,原本客户一个月有多少笔订单的业务归属是错误的,产生了错误的酬金结算。有了这个业务价值的量化,客户非常满意,他们认为数据治理效果非常好。

这个过程中我们通过一些数据固化成果,比如数据资产盘点方法论,帮客户提升数据盘点和构建数据目录的效率;比如认责矩阵,有了这个矩阵,我们后来给电网公司评估出来,一年下来某一个供电所可以省十万块钱,这个省有600多家供电所,实现上千万的经济收益。我们也在数据治理做了智能化尝试,把业务的知识图谱和数据资产打通,让不同的业务人员在数据资产和知识图谱里进行应用。

趋势展望:数智化转型对数据治理提出新需求

数据治理经过这些年的发展之后,首先要更加注重场景化和价值的实现,改变以前偏理论化、偏技术的实施方式;第二要关注全范围的数据,包括中台里的,包括中台之前的,甚至现在做数据变现做得比较领先的公司,已经关注跨行业合作之间的数据治理;第三,从工作能力来说,一方面需要甲方有组织能力、制度能力,也需要有工具能力,需要各种的能力整合;第四,在模式方面,以前是靠整体规划、整体咨询搭建平台的方式,日后应该更加敏捷化的交付方式。最后,为什么我们会参这个加数据智能这个赛道上的会,我们也觉得数据治理应该走出这个细分领域,应该向数据智能更多的横向公司一起合作,这里面就会把数据应用类的公司、数据平台公司还有相关方整合在一起,不是割裂地给甲方提供解决方案,而是融合在一起提供解决方案。这是我们努力的目标。

御数坊已经得到很多大型国企的重视,今年也有更多市场化的公司,比如制造业、零售、房地产类的很多公司选择我们,我们也希望能够有机会跟在座的各位一道在各个行业探索能面向这个行业的数据智能+数据治理融合起来的有效的解决方案。

谢谢大家。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部