最终有人把数据治理的元数据、主数据等概念讲明白了

发布时间:2022.06.24来源:小亿浏览量:484次标签:数据治理

DAMA国际数据管理协会对数据治理定义:数据治理是对数据资产的管理活动行使权力和控制的活动集合(规划、监控和执行)。


数据治理涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析,从源头到终端再回到源头,形成的一个闭环负反馈系统。从目的来讲,数据治理就是要对数据的获取、处理和使用进行监督管理。


具体一点来讲,数据治理就是以服务组织战略目标为基本原则,通过组织成员的协同努力,流程制度的制定,以及数据资产的梳理、采集清洗、结构化存储、可视化管理和多维度分析,实现数据资产价值获取、业务模式创新和经营风险控制的过程。今天小亿就来带着大家从各概念定义本身来说说数据治理。


01、元数据


元数据是关于数据的数据,是为了描述数据的相关信息而存在的数据。


元数据不仅仅表示数据的类型、名称、值等信息,它可以理解为是一组用来描述数据的信息组/数据组,该信息组/数据组中的一切数据、信息,都描述/反映了某个数据的某方面特征,则该信息组/数据组可称为一个元数据。

1656063118905.jpg

▲技术元数据


例如:元数据可以为数据说明其元素或属性(名称、大小、数据类型等),或其结构(长度、字段、数据列),或其相关数据(位于何处、如何联系、拥有者)。在日常生活中,元数据无所不在。只要有一类事物,就可以定义一套元数据。

1656063301893.jpg

▲业务元数据


除此以外,在数据仓库体系中,元数据代表了一种统计数据从元数据、数据仓库到数据应用的全链路信息,记录了统计数据从产生到展示的全部过程。可以说,有了元数据,开发人员便可以方便地找到统计数据背后的计算逻辑与过程,用于指导开发工作并追踪数据问题,可以极大地提升工作的效率。


02、主数据


在2018年中国信通院牵头编写的《主数据管理实践白皮书(1.0版)》中,主数据定义的概念如下:“指满足跨部门业务协同需要的、反映核心业务实体状态属性的组织机构的基础信息。主数据相对于交易数据而言,属性更加稳定,准确度要求更高,唯一识别。”


企业主数据指企业内一致并共享的业务主体,如图所示,是各个系统(包括操作型系统、事务型应用系统、分析型系统)间一致并共享的数据;是用来描述核心业务的实体,例如员工、组织机构、客户、供应商、会计科目等相关数据。主数据与其他数据的关系如图所示:

6249001822b46.png

具有以下特点


1.权威性:主数据作为企业最重要的数据资产,它的设计并不面向业务系统,而应该保持相对的独立,它服务于但又高于使用主数据的业务系统;


2.全局性:主数据是超越部门与流程而存在的,以满足跨部门业务协同而建立的,可以认为是所有职能部门业务过程的“最大公约数”;

624900188f234.png

3.共享性:主数据是在两个或多个系统之间,需要共享的数据,才能定义为主数据。因此主数据必须应用一种能够被各种异构系统所兼容的技术架构;


4.扩展性:主数据在设计的时候,就需要考虑未来做扩展的可能性。因此主数据数据项定义时应当遵守开闭原则,即对扩展开放对修改关闭, 凡是已经定义的主数据数据项原则上不应当再次修改。


03、数据标准

数据标准是指企业为保障数据的内外部使用和交换的一致性和准确性而制定的规范性约束。而数据标准管理则是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。


数据标准管理的目标是通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为数据资产管理提供经管理依据。

62490018d2912.png▲数据治理体系架构


对于大多数企业而言,他们已有各种各样的信息规范,如建模规范,但是这些规范只是为了约束开发工作,更多的时候强调的是数据字典表达的规范。而企业级数据标准的目标却是使企业内部在业务和数据上达成共识,业务共识在先,数据共识在后。从一个IT管理的数据规范变成企业级的数据标准,将是非常大的转变,这个转变的核心是以数据标准提高业务的规范性和业务协同能力,同时约束IT系统建设。


04、数据质量

数据质量是指在业务环境下,数据符合数据消费者的使用目的,数据质量需要满足业务场景具体的需求。数据质量包含两个方面:数据自身的质量和数据的过程质量。


数据自身的质量很好理解,比如数据必须真实准确地反映实际发生的业务,任何业务操作的数据都没有被遗漏,数据存在各种约束条件,这种约束条件不能自相矛盾等等。

62490019803cf.png

数据的过程质量就是数据的使用过程符合标准规范,比如数据存储:数据是否被安全地存储到了合适的介质上,能够保证数据不受外来因素的破坏。当然数据存储只是数据使用过程的一个环节,除此之外还包括获取、传输、应用和删除等一系列的使用过程,这其实也是数据生命周期的各个阶段。


05、数据指标

根据百度百科的定义,预期中打算达到的指数、规格、标准,一般用数据表示就是指标。


而数据指标有别于传统意义上的统计指标,它是通过对数据进行分析得到的一个汇总结果,是将业务单元精分和量化后的度量值,使得业务目标可描述、可度量、可拆解。但只有对业务有参考价值的可统计的数据才能叫做指标,因为它反映了用户做了哪些行为,给业务带来了怎样的结果指标。


而数据指标体系是通过技术手段,从不同的“维度”梳理业务过程,将零散的、有关联性的指标,系统化的组织起来,通过数据看板或接口形式,提供给运营、算法等不同的业务方使用。


一个好的数据指标体系能帮助使用者准确快速地下结论,比如定义业务运作的好坏、能满足多场景的归因,即使出现异动,也能快速定位原因,最终提高发现问题、分析问题、解决问题的效率。


06、数据交换

出于各种原因,组织会选择数据交换与共享。例如,内部与内部的数据交换共享,企业与企业之间的数据交换共享,以及政府或企业对个人或服务提供商的数据交换与共享。数据交换共享就是让不同地方使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作运算和分析。


也就是当数据从一个系统跨授权边界访问或传递到另一个系统时,就需要使用一个或多个协议来指定每个组织的责任、要访问或交换的数据类型和影响界别、如何使用交换数据,以及在交换系统的两端处理、存储或传输数据时如何保证数据安全。


常见的数据交换/共享场景包括但不限于:在授权用户之间共享数据和信息;提供对数据的自定义访问;合作进行联合项目;提供完整的、短暂的、间歇性的、永久的或临时的数据交换共享活动;通过交换共享减少数据收集工作量和成本;提供在线培训;为关键数据和备份文件提供安全存储。


07、数据资产

在理论层面,目前并没有对数据资产的权威定义。我们选取业界较为认可的概念,即:数据资产是指由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。但在企业中,并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源。


数据资产管理是对存量数据进行系统化梳理,与数据标准匹配,推动数据资源转化为数据资产的过程,即指规划、控制和提供数据及信息的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交互和提高数据资产的价值。数据资产管理需要充分融合业务、技术和管理,以确保数据资产保值增值。

6249001acf2cb.png

▲数据治理实施步骤


在数据治理架构中,数据资产管理位于底层数据和数据管理与应用之间,处于承上启下的重要地位。对上支撑数据安全管理等职能建设以价值发掘为导向的数据应用,对下实现底层数据的梳理、对接数据标准,达成企业内部“统一数据标准”的目标。


08、小结

数据治理就是实现数据价值的过程。这个过程怎么实现?通过采集、传输、储存等一系列标准化流程将原本零散的数据变成格式规范、结构统一的数据,同时对其进行严格规范的综合数据监控,保证数据质量;然后对这些标准化的数据进行进一步的加工分析,形成具有指导意义的业务监控报表、业务监控模型等,来帮助企业进行辅助决策。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据管理与数据治理的区别

    数据管理与数据治理的区别

    当我们谈数据资产管理时,我们究竟在谈什么?就目前而言,我们谈论得最多的非数据管理和数据治理这两个概念莫属。但是对于这两个概念,两者的准确……查看详情

    发布时间:2019.11.22来源:知乎浏览量:185次

  • 33篇大数据治理相关文章

    33篇大数据治理相关文章

    33篇大数据治理相关文章,技术+案例一应俱全!……查看详情

    发布时间:2018.10.23来源:今日头条浏览量:205次

  • 手把手系列:常用数据交换方案之RESTful接口处理

    手把手系列:常用数据交换方案之RESTful接口处理

    随着技术的发展与互联网的普及,除了传统的库表、文件方式之外,API接口也成为一种常用的交换方式。于是乎,越来越多的项目存在这样的接口数据……查看详情

    发布时间:2021.01.12来源:知乎浏览量:243次

  • 数据治理的四个阶段

    数据治理的四个阶段

    数据治理的定义是对数据资产管理行使权力和控制的活动集合。其最终目的是挖掘数据价值,推动业务发展,实现盈利。……查看详情

    发布时间:2021.03.06来源:亿信数据治理知识库浏览量:252次

  • 新模型:组合投资组合管理和数据治理建议

    新模型:组合投资组合管理和数据治理建议

    通常,组织决定不让投资组合管理网守优先/授权所有来自治理主导的问题分析的建议。因此,创建了一个新模型,第三个存储桶。……查看详情

    发布时间:2019.03.29来源:亿信华辰浏览量:176次

  • 企业数据治理的目的、意义及挑战有哪些?

    企业数据治理的目的、意义及挑战有哪些?

    随着大数据相关技术的不断成熟,数据作为一种资产,得到了越来越多企业机构的重视,为了能够有效的利用数据资产,数据治理成了当下政府和企业重点……查看详情

    发布时间:2022.05.11来源:小亿浏览量:762次

  • 数据治理准备的五大支柱:交付能力

    数据治理准备的五大支柱:交付能力

    数据治理准备的五大支柱应成为实施或改进任何总体倡议的起点。……查看详情

    发布时间:2019.01.24来源:亿信华辰浏览量:305次

  • 什么是自适应数据分析和数据治理?

    什么是自适应数据分析和数据治理?

    自适应数据和分析治理,这种方法可帮助企业保持相关性并响应组织内部和外部的快速变化的环境。在自适应数据和分析治理中,数据治理不仅仅是约束和……查看详情

    发布时间:2021.06.02来源:亿信华辰数据治理知识库浏览量:192次

  • 数据管理自动化框架的五个好处

    数据管理自动化框架的五个好处

    组织负责管理比以往任何时候都多的数据,使一个强大的自动化框架成为必要。但是自动化框架到底是什么,它又有什么关系呢?……查看详情

    发布时间:2019.02.13来源:亿信华辰浏览量:225次

  • 多措并举提升银行业数据治理能力

    多措并举提升银行业数据治理能力

    数据治理是银行业高质量发展的必由之路,当前银行业的数字化转型面临一些挑战和不足,要从建立数据治理架构、统一数据标准、加强数据分析应用等方……查看详情

    发布时间:2019.12.13来源:知乎浏览量:212次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议