最终有人把数据治理的元数据、主数据等概念讲明白了

发布时间:2022.06.24来源:小亿浏览量:806次标签:数据治理

DAMA国际数据管理协会对数据治理定义:数据治理是对数据资产的管理活动行使权力和控制的活动集合(规划、监控和执行)。


数据治理涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析,从源头到终端再回到源头,形成的一个闭环负反馈系统。从目的来讲,数据治理就是要对数据的获取、处理和使用进行监督管理。


具体一点来讲,数据治理就是以服务组织战略目标为基本原则,通过组织成员的协同努力,流程制度的制定,以及数据资产的梳理、采集清洗、结构化存储、可视化管理和多维度分析,实现数据资产价值获取、业务模式创新和经营风险控制的过程。今天小亿就来带着大家从各概念定义本身来说说数据治理。


01、元数据


元数据是关于数据的数据,是为了描述数据的相关信息而存在的数据。


元数据不仅仅表示数据的类型、名称、值等信息,它可以理解为是一组用来描述数据的信息组/数据组,该信息组/数据组中的一切数据、信息,都描述/反映了某个数据的某方面特征,则该信息组/数据组可称为一个元数据。

1656063118905.jpg

▲技术元数据


例如:元数据可以为数据说明其元素或属性(名称、大小、数据类型等),或其结构(长度、字段、数据列),或其相关数据(位于何处、如何联系、拥有者)。在日常生活中,元数据无所不在。只要有一类事物,就可以定义一套元数据。

1656063301893.jpg

▲业务元数据


除此以外,在数据仓库体系中,元数据代表了一种统计数据从元数据、数据仓库到数据应用的全链路信息,记录了统计数据从产生到展示的全部过程。可以说,有了元数据,开发人员便可以方便地找到统计数据背后的计算逻辑与过程,用于指导开发工作并追踪数据问题,可以极大地提升工作的效率。


02、主数据


在2018年中国信通院牵头编写的《主数据管理实践白皮书(1.0版)》中,主数据定义的概念如下:“指满足跨部门业务协同需要的、反映核心业务实体状态属性的组织机构的基础信息。主数据相对于交易数据而言,属性更加稳定,准确度要求更高,唯一识别。”


企业主数据指企业内一致并共享的业务主体,如图所示,是各个系统(包括操作型系统、事务型应用系统、分析型系统)间一致并共享的数据;是用来描述核心业务的实体,例如员工、组织机构、客户、供应商、会计科目等相关数据。主数据与其他数据的关系如图所示:

6249001822b46.png

具有以下特点


1.权威性:主数据作为企业最重要的数据资产,它的设计并不面向业务系统,而应该保持相对的独立,它服务于但又高于使用主数据的业务系统;


2.全局性:主数据是超越部门与流程而存在的,以满足跨部门业务协同而建立的,可以认为是所有职能部门业务过程的“最大公约数”;

624900188f234.png

3.共享性:主数据是在两个或多个系统之间,需要共享的数据,才能定义为主数据。因此主数据必须应用一种能够被各种异构系统所兼容的技术架构;


4.扩展性:主数据在设计的时候,就需要考虑未来做扩展的可能性。因此主数据数据项定义时应当遵守开闭原则,即对扩展开放对修改关闭, 凡是已经定义的主数据数据项原则上不应当再次修改。


03、数据标准

数据标准是指企业为保障数据的内外部使用和交换的一致性和准确性而制定的规范性约束。而数据标准管理则是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。


数据标准管理的目标是通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为数据资产管理提供经管理依据。

62490018d2912.png▲数据治理体系架构


对于大多数企业而言,他们已有各种各样的信息规范,如建模规范,但是这些规范只是为了约束开发工作,更多的时候强调的是数据字典表达的规范。而企业级数据标准的目标却是使企业内部在业务和数据上达成共识,业务共识在先,数据共识在后。从一个IT管理的数据规范变成企业级的数据标准,将是非常大的转变,这个转变的核心是以数据标准提高业务的规范性和业务协同能力,同时约束IT系统建设。


04、数据质量

数据质量是指在业务环境下,数据符合数据消费者的使用目的,数据质量需要满足业务场景具体的需求。数据质量包含两个方面:数据自身的质量和数据的过程质量。


数据自身的质量很好理解,比如数据必须真实准确地反映实际发生的业务,任何业务操作的数据都没有被遗漏,数据存在各种约束条件,这种约束条件不能自相矛盾等等。

62490019803cf.png

数据的过程质量就是数据的使用过程符合标准规范,比如数据存储:数据是否被安全地存储到了合适的介质上,能够保证数据不受外来因素的破坏。当然数据存储只是数据使用过程的一个环节,除此之外还包括获取、传输、应用和删除等一系列的使用过程,这其实也是数据生命周期的各个阶段。


05、数据指标

根据百度百科的定义,预期中打算达到的指数、规格、标准,一般用数据表示就是指标。


而数据指标有别于传统意义上的统计指标,它是通过对数据进行分析得到的一个汇总结果,是将业务单元精分和量化后的度量值,使得业务目标可描述、可度量、可拆解。但只有对业务有参考价值的可统计的数据才能叫做指标,因为它反映了用户做了哪些行为,给业务带来了怎样的结果指标。


而数据指标体系是通过技术手段,从不同的“维度”梳理业务过程,将零散的、有关联性的指标,系统化的组织起来,通过数据看板或接口形式,提供给运营、算法等不同的业务方使用。


一个好的数据指标体系能帮助使用者准确快速地下结论,比如定义业务运作的好坏、能满足多场景的归因,即使出现异动,也能快速定位原因,最终提高发现问题、分析问题、解决问题的效率。


06、数据交换

出于各种原因,组织会选择数据交换与共享。例如,内部与内部的数据交换共享,企业与企业之间的数据交换共享,以及政府或企业对个人或服务提供商的数据交换与共享。数据交换共享就是让不同地方使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作运算和分析。


也就是当数据从一个系统跨授权边界访问或传递到另一个系统时,就需要使用一个或多个协议来指定每个组织的责任、要访问或交换的数据类型和影响界别、如何使用交换数据,以及在交换系统的两端处理、存储或传输数据时如何保证数据安全。


常见的数据交换/共享场景包括但不限于:在授权用户之间共享数据和信息;提供对数据的自定义访问;合作进行联合项目;提供完整的、短暂的、间歇性的、永久的或临时的数据交换共享活动;通过交换共享减少数据收集工作量和成本;提供在线培训;为关键数据和备份文件提供安全存储。


07、数据资产

在理论层面,目前并没有对数据资产的权威定义。我们选取业界较为认可的概念,即:数据资产是指由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。但在企业中,并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源。


数据资产管理是对存量数据进行系统化梳理,与数据标准匹配,推动数据资源转化为数据资产的过程,即指规划、控制和提供数据及信息的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交互和提高数据资产的价值。数据资产管理需要充分融合业务、技术和管理,以确保数据资产保值增值。

6249001acf2cb.png

▲数据治理实施步骤


在数据治理架构中,数据资产管理位于底层数据和数据管理与应用之间,处于承上启下的重要地位。对上支撑数据安全管理等职能建设以价值发掘为导向的数据应用,对下实现底层数据的梳理、对接数据标准,达成企业内部“统一数据标准”的目标。


08、小结

数据治理就是实现数据价值的过程。这个过程怎么实现?通过采集、传输、储存等一系列标准化流程将原本零散的数据变成格式规范、结构统一的数据,同时对其进行严格规范的综合数据监控,保证数据质量;然后对这些标准化的数据进行进一步的加工分析,形成具有指导意义的业务监控报表、业务监控模型等,来帮助企业进行辅助决策。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 形成,风暴,规范,表演 - 实现数据治理

    形成,风暴,规范,表演 - 实现数据治理

    启动数据治理计划是整个组织需要参与的重要任务。来自数据治理团队的这些见解已经在他们的旅程中取得了一些进展,这突出了团队内部和整个组织内的……查看详情

    发布时间:2019.02.25来源:亿信华辰浏览量:432次

  • 数据架构和数据治理的速赢

    数据架构和数据治理的速赢

    Burbank根据DAMA国际数据管理知识体系(DMBoK2)定义数据架构为:数据架构是数据管理的基础。因为大多数组织拥有个人难以想象的……查看详情

    发布时间:2020.11.08来源:知乎浏览量:476次

  • 数据治理—各种规模银行的增长之路

    数据治理—各种规模银行的增长之路

    银行看到修复数据问题的成本显着上升。无论是建立集成能力以应对老化技术的直接费用,还是监管机构或审计师发现数据问题和评估民事罚款的间接费用……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:351次

  • 数据服务交换和服务工具经历三个阶段

    数据服务交换和服务工具经历三个阶段

    数据交换平台是为校内各部门的管理信息系统提供数据交换,实现数据共享,并建立公共数据库,实现数据积累,为数据统计、分析、挖掘做准备。……查看详情

    发布时间:2020.08.06来源:知乎浏览量:407次

  • 数据治理:让数据质量更好(data governance)

    数据治理:让数据质量更好(data governance)

    核心提示:大数据时代数据产生的价值越来越大,基于数据的相关技术、应用形式也在快速发展,开发基于数据的新型应用已经成为高校信息化建设的一个……查看详情

    发布时间:2019.11.22来源:CSDN浏览量:1272次

  • 中小行纷纷设立数据治理专营部门

    中小行纷纷设立数据治理专营部门

    “数据治理基础建设缺失、人才匮乏、意识觉醒较晚。”一名来参加今日第三届中国数字银行论坛的西部中小银行人士,用了三个并列短句,来形容目前中……查看详情

    发布时间:2019.11.29来源:CSDN浏览量:574次

  • 数据标准管理组织职能划分与数据标准设计流程

    数据标准管理组织职能划分与数据标准设计流程

    数据标准的设计从需求发起到落地执行,一般需要经过标准编制、标准审查、标准发布、标准贯彻四个阶段:……查看详情

    发布时间:2020.09.18来源:知乎浏览量:471次

  • 数据治理到底应该怎么治?

    数据治理到底应该怎么治?

    数据到底怎么治,这确实是一个宽泛的话题,首先是要明确治理的内容。针对不同的治理内容采取不同的数据治理策略。关于小数据和大数据的治理侧重点……查看详情

    发布时间:2020.07.07来源:知乎浏览量:453次

  • 创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    工业互联网激起能源领域一池春水,新一代信息技术则是其不断发展的加速器。山东能源集团下属临沂矿业集团有限责任公司(以下简称临矿集团)率先在……查看详情

    发布时间:2021.02.04来源:亿信华辰浏览量:777次

  • 大数据时代更要重视用户隐私

    大数据时代更要重视用户隐私

    刚买了房,就有装修公司打电话上门;在网店中搜一下笔记本,推送到手机上的阅读页面就出现各种穿插笔记本的广告……日常生活中,你是否也遇到过这……查看详情

    发布时间:2019.03.14来源:亿信华辰浏览量:324次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议