数据治理为什么成为企业必备?

发布时间:2020.07.29来源:CSDN浏览量:159次标签:数据治理

基本概念

什么是数据治理?

答:又叫”数据管控”。引用《DAMA 数据管理知识体系指南》一书给出的定义:数据治理是对数据资产管理行使权力和控制的活动集合(规划、监控和执行)。数据治理职能指导其他数据管理职能如何执行。

数据元:通过名称、格式、长度、定义值域等一系列属性描述的数据单元。

代码集:数据元的取值范围。

数据元类目:按照标准规范对数据元进行分类。

元数据:对数据资源的描述性信息(数据的数据)。例如数据表的字段就是描述这些数据表中数据的元数据。

元模型:定义各种元数据的结构以及元数据间的关系。

概述

元数据(Metadata) 使得用户可以掌握数据的历史情况,如数据从哪里来?流通时间有多长?更新频率是多大?数据元素的含义是什么?对它已经进行了哪些计算、转换和筛选等等。在需求不确定情况下,在瞬间万变的商业环境下,元数据可以更好的支持需求的变化,降低项目风险。

元数据按照适用场景可有以下两种区分:

  • 技术元数据—-从开发的角度描述的元数据,应用于开发、管理和维护数据治理平台
  • 业务元数据—-从业务的角度描述的元数据,提供良好的语义层定义,更便于业务人员理解。

元数据贯彻于建立数据仓库的全过程,不仅仅只是TL过程。

元数据标准 不统一,各厂商、各软件采用不同的元数据标准。业界需要统一的标准,以便各个软件系统之间可以相互交换元数据。CWG 1.0 (Common Warehouse Metamodel Version 1.0) 就是一种,其定义一个描述数据源、数据目的、转换、分析的元数据框架,以及定义建立和管理数据仓库的过程和操作,提供使用信息的继承。目前宣布支持CWM的厂商包括:IBM、Oracle、Hyperion、Dimension EDI、Genesis IONA、HP、NCR和Unisys等。

CWM基于3个工业标准:

  • UML - Unified Modeling Language,OMG建模标准;
  • MOF - Meta Object Facility,OMG建立元模型和模型库的标准,提供在异构环境下的数据交换的接口;
  • XMI - XML Metadata Interchange,OMG元数据交换标准。

数据分类

对每类数据进行治理时,关注点、方法以及效果都不同,需要区别对待。

数据分类 描述
主数据(Master Data) 关于业务实体的数据
事务数据(Transactional Data) 业务运营过程中的内部或者外部事件或者交易记录
参考数据(Reference Data) 用于将其他数据进行分类或者目录整编的数据
元数据(Metadata) 描述数据的数据
统计分析数据(Analytical Data) 指对企业业务活动进行统计分析的数据

主数据 关注的是”人”和”物”,主数据管理是数据治理领域一个专门的话题,其主要目的是对关键业务实体(如员工、客户、产品、供应商等)建立统一视图,让客观世界里本是同一个人或物,在数据世界里也能做到唯一识别,而不是在不同系统、不同业务中成为不同的人或物。

事务数据 关注的是”事”,事务数据没有形成单独的数据治理领域,由于事务数据是BI分析的基础,因此往往在数据质量管理中重点关注。

参考数据 是更细粒度的数据,是对”人”“事”“物”的某些属性进行规范性描述的,对参考数据的管理一般会与主数据管理同时进行,或与BI数据质量管理同时进行,因为指标维度和维值直接影响到BI数据质量。

元数据 是一个包罗万象的概念,其本质是为数据提供描述,所以任何数据都有元数据。数据治理领域的元数据,更多是指BI、数据仓库这个范畴内的元数据(国际上有Common Warehouse Meta-model规范),此外还有信息资源管理的元数据(如Dublin core协议)、地理信息元数据、气象元数据等等。正因为如此广泛,也造成了从业者对其有极高的预期以及实践后的极大失落。

现在极少谈”元数据”,而是谈”数据定义”,谈数据必谈定义,但却又不将其作为专门一类数据来管理,在数据治理领域单独做元数据管理,收效甚微。 主要原因有两点:

  1. 数据生产与数据管理脱节,元数据管理更多是在数据生产的事后进行元数据收集和应用展现,对数据生产起到的管控作用极小;
  2. 工具自身问题:虽然很多工具都号称支持CWM规范,但元数据自动获取始终是技术难题,而且对于存储过程、自定义脚本很难自动解析和获取,就无法准确、完整展现细节的数据处理过程。

统计分析数据 ,目前BI系统建设的主要作用就是做各种指标和报表的计算和展示。统计分析数据往往是数据治理的重点,统计分析数据的数据流分析、统计分析数据的数值的波动性、平衡性监控,几乎是各个企业做数据治理的必备应用。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 打开大数据的正确方式——做减法

    打开大数据的正确方式——做减法

    随着数字技术的广泛应用,原本的新奇感已经荡然无存。创新领域内积年累月的争夺不断攫取着人们的时间和注意力,反而令用户感到信息过载、不堪重负……查看详情

    发布时间:2019.04.09来源:亿信华辰浏览量:116次

  • 重大数据治理预测

    重大数据治理预测

    去年见证了数据治理的觉醒 - 或者正如“ 华尔街日报” 所称的那样,“全球数据治理计算”。……查看详情

    发布时间:2019.01.17来源:亿信华辰浏览量:147次

  • 数据治理治什么?在哪治?怎么治?

    数据治理治什么?在哪治?怎么治?

    数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。其实在我看来,……查看详情

    发布时间:2020.06.24来源:知乎浏览量:82次

  • 数据治理直击灵魂的四问:治什么?谁来治?怎么治?选哪个?

    数据治理直击灵魂的四问:治什么?谁来治?怎么治?选哪个?

    近些年来,“数据治理”这个词总是高频出现,让人们对其“身世背景”格外好奇。国际数据治理研究所(DGI)给出的定义:数据治理是一个通过一系……查看详情

    发布时间:2020.09.19来源:知乎浏览量:109次

  • 数据治理的应用指南——亿信华辰

    数据治理的应用指南——亿信华辰

    数据治理(有时也称为IT治理)是存储管理的关键部分。显然,IT治理总体上与数据治理密切相关:IT是任何数据治理项目的组成部分。……查看详情

    发布时间:2019.02.13来源:亿信华辰浏览量:137次

  • 大数据时代不能没有数据治理

    大数据时代不能没有数据治理

    第一个提出大数据时代到来的是全球知名咨询公司麦肯锡,现如今大数据存在于各个行业,受到了人们的重视。现在社会科技告诉发展,信息流通快,使得……查看详情

    发布时间:2019.08.13来源:知乎浏览量:96次

  • 未来我国大数据发展还有哪些机遇和挑战?

    未来我国大数据发展还有哪些机遇和挑战?

    随着信息技术和人类生产生活交汇融合,全球数据呈现爆发增长、海量集聚的特点。无论是国家、企业还是社会公众,都越来越认识到数据的价值。……查看详情

    发布时间:2019.03.18来源:亿信华辰浏览量:134次

  • 大数据时代的数据治理

    大数据时代的数据治理

    随着Hadoop技术的提升,数据如何进来,如何整合,开展什么样的应用都已经有了成熟的案例,可是,同传统数仓时代一样,垃圾进垃圾出,如何破……查看详情

    发布时间:2020.03.19来源:知乎浏览量:116次

  • 数据治理是数据驱动业务的关键

    数据治理是数据驱动业务的关键

    如果数据不能够给企业带来价值,那么收集再多的数据也毫无意义,但如果企业需要在数据中做出创新和创造价值,哪数据治理就显得非常关键。什么是数……查看详情

    发布时间:2019.06.14来源:中培课堂浏览量:146次

  • 增强数据管理吸引了更多企业的兴趣

    增强数据管理吸引了更多企业的兴趣

    “我认为数据专业人员确实希望机器处理繁琐且计算密集的东西,”Henschen说。“有很多工作要做,让机器处理他们最擅长的事情,这将使人类……查看详情

    发布时间:2019.03.07来源:亿信华辰浏览量:114次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议