艾瑞咨询:2022中国面向人工智能的数据治理行业研究报告

艾瑞咨询:2022中国面向人工智能的数据治理行业研究报告
2022年04月13日 17:34 亚信科技

导语:

企业数字化转型过程中,数据量和数据需求双增,带动数据治理需求攀升。传统数据治理体系难以满足人工智能(AI)对高质量数据的要求,“数据治理+AI”是赢得百亿市场的必然之选。本报告选择金融、零售、医疗、工业四大典型行业,分析呈现各行业的信息化建设阶段与高频高价值的AI应用场景,给出面向AI的数据治理体系搭建指导,并对数据治理陷阱与发展趋势给出洞察分析。【关注“亚信科技”微信号,后台私信即可获取完整报告!】

前言:数据与数据治理

数据资产

数字经济的“货币”,早已不限于数字形式

“数据资产化”是企业发展的重要内涵。“数据”并不仅指以数字形式存储的信息,根据其特性及治理方法可以划分为内部数据与外部数据,结构化数据、非结构化数据与半结构化数据,元数据与主数据等。

数据爆发

IT设施“扩容”、IoT广泛连接带来数据暴增

数据时代来临,大量业务数据被采集、存储,以支撑企业数字化和创造经济效益。但很多企业早期的信息化建设缺乏统筹规划,导致数据孤岛,数据不规范、不一致、难互通,使数据治理愈发受到重视;同时IoT等新技术与应用场景快速落地,也让数据治理需求加速攀升。

数据治理需求普遍存在

非结构化数据成价值挖掘重点,助力企业实现数据应用闭环

“数据治理”是面向数据采集、清洗加工、存储、计算、服务应用等各环节的治理服务,企业需要通过“治理”解决数据生产、管理和使用的问题,其需求与复杂度将随企业数字化程度提升而增加。未来,非结构化数据持续积累与AI数据需求的不断增长,将促使非结构化数据治理模块获得更多关注与优化,面对数据全生命周期的治理也将帮助企业形成数据应用的闭环。

因地制宜

设计数据治理架构

数据治理的核心包括数据标准管理、数据集成管理、元数据管理、主数据管理、数据资产管理、数据质量管理、数据模型管理、数据服务与安全管理模块,可根据企业特性、实际需求,设计搭建个性化的数据治理架构。

主题:面向人工智能的数据治理

AI应用规模化

带动大数据智能市场蓬勃发展,金融数据率先释放价值

近年来,人工智能从消费端向产业端辐射,AI技术创新和应用,带动了大数据智能市场发展,也为底层的数据治理服务注入了市场活力。艾瑞咨询测算,2021年涵盖大数据分析预测(机器学习/深度学习模型)、领域知识图谱及NLP应用的大数据智能市场规模约为553亿元,预计2026年将达1456亿元。从细分结构看,金融领域数据价值率先释放,市场规模占比高达32%。

大数据智能市场

融资规模稳步提升,事件数量创历史新高

2011-2021年,资本市场对数据智能的关注度不断提高,融资事件逐年攀升。受政策支持与技术成熟推动,多行业数据智能应用成功落地极大增强了市场与投资者信心,“大数据智能”标签已成为创业与投资的热点,具备市场想象空间与明确使用价值是企业早期吸引投资的关键。

需求传导

AI应用引发的数据治理需求,针对性体系解决重复性治理

数据资源的优劣决定了AI应用的落地效果。传统数据治理体系在数据质量、数据字段丰富度、数据分布和实时性等方面尚难满足AI应用的要求,企业需要面向人工智能的二次数据治理。通过将面向AI应用的数据治理环节流程化、标准化、体系化,降低数据反复准备、特征筛选、模型调优迭代的成本,可提升AI应用的落地效率。

体系搭建和数据准备

以AI应用数据需求为核心

面向人工智能的数据治理是传统治理体系以AI应用为导向的体系化“升级”。从搭建流程来看,AI模型可大致分为离线训练和上线推理两阶段。离线训练时,需基于AI模型运行目的确认数据采集来源,选择数据对应的时间间隔和节点,让AI在离线建模及上线运行后获取真实业务数据。AI模型上线后,通过打造数据采集和回馈分析的闭环自学习体系,让模型持续迭代优化。

数据质量和标准

唤醒沉睡数据,挖掘核心价值,实现数据共享

多源异构数据的质量管理体系可从数据有效性、一致性、唯一性、时序性、完备性、完整性、合理性和准确性等维度建立。其中,数据合理性和准确性很大程度上决定了AI模型的分析决策效果,是需重点关注提升的维度模块。

数据标准是治理工作的基础,是数据共享、价值挖掘的核心环节,为AI模型开发及应用提供“一致的数据语言”,事关全局统一的数据定义与价值体系。

特征管理与效果优化

将多源异构数据转化为“结构化数据”,提升AI应用落地效果

在圈定AI数据源范围并接入相应数据后,特征管理中台会对数据进行预处理,而后经过特征工程转化为可理解的结构化数据,投喂给AI模型,可以显著提升AI应用的规模化落地效果。

参与:行业规模与受益立足点

数智融合带来行业发展

数据治理与AI应用交汇,多元厂商参与行业竞合

当前,数据治理与AI应用逐步交汇融合,展现出“由数据治理向开发AI应用平台/产品发展”与“AI应用平台/产品开发向数据治理发展”两条路径。因此,面向AI的数据治理从业者不仅有数据治理厂商,更包括众多AI企业,参与者更加多元。

从行业厂商类型来看,主要包括咨询公司、数据服务提供商和人工智能产品提供商三类,各类厂商根据自身业务特点和切入方式获得差异化竞争优势,形成竞争与合作共存的行业格局。

以“智”立足

开拓百亿市场

如今,“AI应用驱动”已成为面向人工智能的数据治理服务的核心立足点。预计到2026年,中国数据治理市场规模将达294亿元,面向人工智能的数据治理市场规模将突破百亿,产业生态圈将持续良性发展。

展望:治理陷阱与趋势洞察

数据埋点大而全的陷阱

切记抓大放小,从核心数据着手

数据埋点是指针对特定用户行为或事件进行捕获、处理和发送的相关技术及实施过程。出于对投资回报的考虑,客户往往倾向于做覆盖全业务和技术域的、大而全的数据治理项目,将每个数据都纳入到治理范畴,这就给数据治理和分析带来隐患。为避免此类陷阱,企业应抓大放小,从最核心的系统、最重要的数据、最易产生问题的地方着手治理。

数据治理体系的流转运营

沟通、组织、聚焦、文化

数据治理是系统性工程,供需两侧要齐心协力,共同、持续、优质地运营数据治理体系。形成明确的目标、合理的组织、严格的监管、完善的系统,这样才能使数据治理工作得到保障,达成高效流转运营。

完善数据治理安全框架

确保数据安全合规

大数据时代,数据安全挑战加剧。企业需建立较为完备的数据安全治理框架,让数据采集、存储、传输、处理均有对应的管理依据,在挖掘数据资产、发挥数据价值的同时,确保数据全周期的安全合规。

联邦学习辅助数据合规

多行业率先应用

为解决数据需求与安全隐私的矛盾,联邦学习技术应运而生。它可以有效打通数据孤岛,让数据可用而不可见,在满足安全合规的基础上,充分发挥数据价值,已成为数据智能厂商的核心开拓方向,并在金融、医疗、政务等领域率先应用。

数据“自治与自我进化”

将数据治理流程化、自动化、智能化

数据规模的指数级增长给治理工作带来巨大压力。随着人工智能和RPA等前沿技术逐步应用,数据治理工作将渐趋自动化与智能化。“治理+AI”的良性循环,将为企业数据治理和应用带来“多快好省”的新局面。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部