数据治理是建设数据中台的核心数据价值的释放之匙

发布时间:2020.06.23来源:知乎浏览量:111次标签:数据治理

数据治理:数据价值的释放之匙   
据戴尔易安信最新调查显示:全球大多数企业现已认识到数据的价值,受管理的平均数据量从2016年的1.45PB增加至2018年的9.70PB。全球范围内,92%的受访者都看到了数据的潜在价值,36%的受访者当前正将数据转化为经济效益。

随着数据价值的日益突显,越来越多的企业开始进行数字战略转型,有的通过数据平台过渡到数据中台,有的直接建设数据中台。

所谓“无规矩不成方圆”,因历史原因企业在发展过程中已经形成了系统林立的情况,汇集到数据平台的数据都各具特色,缺乏标准、规范、治理的数据已经失去了使用的价值。

为了规范数据处理过程,凸显数据业务价值,需对数据平台的数据进行综合管理,构建标准化、流程化、自动化、一体化的数据治理体系,确保数据架构规划合理、数据加工条理清晰、数据处理可管控、数据知识可传承。

有效的数据治理可以确保企业数据全面一致可信,从而全面释放数据资产的价值。

数据治理之困
只有确保数据的标准化、规范化、可信可用,才能进一步通过数据运营、数据应用帮助企业实现数据资产管理、发现内部数据问题、发掘数据价值,进而实现企业数据资产的盘活和有效利用。数据治理应该采用最简单的手段管理最有价值的数据,但在实际情况中,我们遇到过在很多数据治理开展过程中,常见的“两不三难”的情况:

1)后向型治理,不一致:因历史原因,很多企业采用“先建后治”的方式,通过手工填报、反向解析代码、脚本等的方式进行元数据探查、血缘探查、数据质量管理,事后才能发现问题,容易造成管理的内容和生产内容的不一致。

2)被动型治理,不高效:当发现质量问题时建设质量平台、需要数据字典的时候建设元数据管理平台,将原本完整的治理体系割裂为多个系统、多个平台,造成系统集成难度高、治理效果差。

3)误区型治理,难聚焦:随着中台的建设脚本和任务越来越多,本来管理数据变为了管理程序;数据治理的本质是管理数据,走入误区变成管理程序、脚本、任务,造成了管理失焦。

4)项目型治理,难延续:数据治理的最终目标是提升数据价值,是一个持续漫长的运营过程,需要逐步完善、分步迭代,指望一步到位完成数据治理是不现实的,但在实际执行过程中往往以项目交付为目标,点到为止,导致治理不全面、无延续,效果也注定是差强人意。

5)兼职型治理,难落地:由于每个行业、企业、单位的组织体系、数据应用、基础架构不同,需要通过方法论找到适合企业的特有的数据治理思路,同时需要专人或专业团队进行强有力的支撑,但实际执行过程中往往是企业安排员工进行兼职管理,导致职责不清晰,主动性不强,治理工作落地困难。

数据治理之道   
在传统数据平台阶段,数据治理的目标主要是做管控,为数据部门建立一个的治理工作环境,包括标准、质量等。而在数据中台阶段,用户对数据的需求持续增长,用户范围从数据部门扩展到全企业,数据治理不能再只是面向数据部门了,需要成为面向全企业用户的工作环境,需要以全企业用户为中心,从给用户提供服务的角度,管理好数据的同时为用户提供自助获得大数据的能力,帮助企业完成数字化转型。

通过分析数据治理实际开展过程中出现的一些问题,我们总结出了数据治理的几个关键要素:

1)数据治理需要体系建设:为发挥数据中台价值需要满足三个要素:合理的平台架构、完善的治理服务、体系化的运营手段。

根据企业的规模、所属行业、数据量等情况选择合适的平台架构;治理服务需要贯穿数据全生命周期,保证数据在采集、加工、共享、存储、应用整个过程中的完整性、准确性、一致性和实效性;运营手段则应当包括规范的优化、组织的优化、平台的优化以及流程的优化等等方面。

2)数据治理需要夯实基础:数据治理需要循序渐进,但在数据中台建设初期至少需要关注三个方面:数据规范、数据质量、数据安全。

规范化的模型管理是保障数据可以被治理的前提条件,高质量的数据是数据可用的前提条件,数据的安全管控是数据可以共享交换的前提条件。

3)数据治理需要IT赋能:数据治理不是一堆规范文档的堆砌,而是需要将治理过程中所产生的的规范、流程、标准落地到IT平台上,在数据生产过程中通过前向的方式进行数据治理,避免事后稽核带来运维成本的增加。

4)数据治理需要聚焦数据:数据治理的本质是管理数据,因此需要加强元数据管理,补齐数据的相关属性和信息,比如:元数据、质量、安全、业务逻辑、血缘等;应通过元数据驱动的方式管理数据生产。

5)数据治理需要建管一体化:数据中台的数据模型血缘与任务调度的一致性是建管一体化的关键,有助于解决数据管理与数据生产口径不一致的问题,避免出现两张皮的低效管理模式。

数据治理如何落地?   
数据治理在系统层面包括数据标准、元数据、数据质量、生命周期管理、数据安全、数据资产共六大核心模块;在管理层面需要通过数据治理组织、数据治理流程进行支撑保障。数据治理是一项长期且复杂的体系化工程,它需要通过一系列流程规范、制度、IT能力以及持续运营等机制来保障治理工作的持续推进。数据治理的落地建议分为4个阶段:

1)建组织:需要打破企业内部壁垒,构建多部门共同参与的数据治理组织,提升数据治理重要性。成立数据治理专项团队,包括数据治理委员会、数据治理团队、各业务部门等层层递进的组织架构。在绩效、团队、资源等方面支持数据治理的持续运营,达成企业数据中台的数据战略体系转型。

2)立规范:建立切实可行的标准化流程规范,并随着数据中台的不断运营而持续完善,分步实施逐步迭代。规范包括发布数据治理管理规范、数据治理流程规范、建立数据治理标准化闭环流程、明确线上管理要求,并通过运营闭环化、流程线上化、服务集中化形成常态化机制推进数据治理工作。

3)选平台:搭建有效的IT平台支撑数据治理的规范、流程、标准落地,同时确保前向的数据治理模式。数据治理本质是一项管理工作,只有生产过程可视化、生产过程可干预,才能保证数据治理的效果,因此平台应确保数据治理和数据生产的一体化。平台应具备多厂家协同开发能力、数据标准化管理能力、基于元模型驱动的元数据开发管理能力、元数据血缘管理能力、基于血缘驱动的任务调度管理能力、安全分层分级管理能力以及数据质量管理能力等等基础能力才能更好的保障数据治理的落地。

4)重运营:数据治理是一个持续并且长久的运营过程,规范、组织、平台的以及流程需要不断的进行迭代优化,数据质量、数据安全需要持续管控,通过业务的不断滋养逐步完善数据中台的数据治理能力。

结束语
数据治理是一项战略性、长期性、艰巨性、系统性、持续进行的企业内部数据优化治理工作,因此,数据治理必然是一个漫长而持续的过程,没有一针顶破天的诀窍,也没有立竿见影的途径,唯有企业持续不断、持之以恒、不忘初心、不懈努力,才能达到预期目标。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 企业为什么要实施数据治理项目

    企业为什么要实施数据治理项目

    目前业界并没有对其概念的统一标准定义,我们可以这么认为,数据治理从本质上看就是对一个机构(企业或政府部门)的数据从收集融合到分析管理和利……查看详情

    发布时间:2020.04.09来源:知乎浏览量:111次

  • 什么是数据质量?如何衡量它以获得最佳结果?

    什么是数据质量?如何衡量它以获得最佳结果?

    我们过去谈过很多关于数据质量的问题 - 包括糟糕数据的成本。但是,尽管对数据质量有了基本的了解,但许多人仍然不太了解“质量”究竟是什么意……查看详情

    发布时间:2018.12.25来源:数据治理浏览量:166次

  • 四位一体的大数据治理框架是什么?

    四位一体的大数据治理框架是什么?

    大数据治理有着自身独特的框架,这一框架经由人、物、技术、数据的高度融合而成,大数据的价值与保护在这一框架内被重新定义。除此之外,凡身处这……查看详情

    发布时间:2019.01.08来源:亿信华辰浏览量:128次

  • 数据治理成功的预测指标

    数据治理成功的预测指标

    简而言之,数据治理项目在组织内经常遇到的挑战通常与高级管理层和业务中的数据文化状态密切相关。从这两个利益相关方团体获得支持可以显着提高数……查看详情

    发布时间:2019.03.22来源:亿信华辰浏览量:128次

  • 大数据治理的五个核心要素

    大数据治理的五个核心要素

    当今的大型企业,内部分工日趋细化,采购、服务、市场、销售、开发、支持、物流、财务、人力等各个环节,无不每时每刻产生着大量的数据。数据的格……查看详情

    发布时间:2019.12.06来源:CSDN浏览量:197次

  • 让数据清澈如水:数据清洗的策略与方法

    让数据清澈如水:数据清洗的策略与方法

    在数据仓库中,数据是面向某一主题的数据的集合,这些数据从多个业务系统抽取而来,不同的数据来源加上历史数据的堆积,难免会有问题数据出现,这……查看详情

    发布时间:2020.11.23来源:亿信华辰浏览量:191次

  • 数据治理 定义,挑战和最佳实践

    数据治理 定义,挑战和最佳实践

    数据治理构成了公司范围数据管理的基础,可以有效地使用可信赖的数据。有效的数据管理是一项需要集中控制机制的重要任务。 为了帮助最终用户更……查看详情

    发布时间:2019.02.20来源:数据治理浏览量:180次

  • 员工数据治理政策:最小化影响,实现价值最大化

    员工数据治理政策:最小化影响,实现价值最大化

    随着越来越多的法规要求和投资者压力促使投资管理公司实施新的安全,治理和合规政策及技术解决方案,公司正在经历由这些实施带来的新业务挑战。……查看详情

    发布时间:2018.12.20来源:亿信华辰浏览量:115次

  • 物料主数据管理平台建设分享,助力多元化集团探索数据治理之路

    物料主数据管理平台建设分享,助力多元化集团探索数据治理之路

    随着大数据平台的建设,数据质量的好坏直接决定数据分析和数据挖掘的效果。如今,企业数据资产面临着不一致、不完整、不准确等问题,需要对数据进……查看详情

    发布时间:2021.04.20来源:浏览量:232次

  • 做好数据治理,更快更好地推进数字化转型

    做好数据治理,更快更好地推进数字化转型

    数据为关键要素的数字经济进入了新时代。当前,以人工智能、区块链等为代表的数字技术不断涌现,快速向经济社会各领域融合渗透。以数据为核心的数……查看详情

    发布时间:2020.03.26来源:知乎浏览量:125次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议