数据治理为什么成为企业必备?

发布时间:2020.07.29来源:CSDN浏览量:127次标签:数据治理

基本概念

什么是数据治理?

答:又叫”数据管控”。引用《DAMA 数据管理知识体系指南》一书给出的定义:数据治理是对数据资产管理行使权力和控制的活动集合(规划、监控和执行)。数据治理职能指导其他数据管理职能如何执行。

数据元:通过名称、格式、长度、定义值域等一系列属性描述的数据单元。

代码集:数据元的取值范围。

数据元类目:按照标准规范对数据元进行分类。

元数据:对数据资源的描述性信息(数据的数据)。例如数据表的字段就是描述这些数据表中数据的元数据。

元模型:定义各种元数据的结构以及元数据间的关系。

概述

元数据(Metadata) 使得用户可以掌握数据的历史情况,如数据从哪里来?流通时间有多长?更新频率是多大?数据元素的含义是什么?对它已经进行了哪些计算、转换和筛选等等。在需求不确定情况下,在瞬间万变的商业环境下,元数据可以更好的支持需求的变化,降低项目风险。

元数据按照适用场景可有以下两种区分:

  • 技术元数据—-从开发的角度描述的元数据,应用于开发、管理和维护数据治理平台
  • 业务元数据—-从业务的角度描述的元数据,提供良好的语义层定义,更便于业务人员理解。

元数据贯彻于建立数据仓库的全过程,不仅仅只是TL过程。

元数据标准 不统一,各厂商、各软件采用不同的元数据标准。业界需要统一的标准,以便各个软件系统之间可以相互交换元数据。CWG 1.0 (Common Warehouse Metamodel Version 1.0) 就是一种,其定义一个描述数据源、数据目的、转换、分析的元数据框架,以及定义建立和管理数据仓库的过程和操作,提供使用信息的继承。目前宣布支持CWM的厂商包括:IBM、Oracle、Hyperion、Dimension EDI、Genesis IONA、HP、NCR和Unisys等。

CWM基于3个工业标准:

  • UML - Unified Modeling Language,OMG建模标准;
  • MOF - Meta Object Facility,OMG建立元模型和模型库的标准,提供在异构环境下的数据交换的接口;
  • XMI - XML Metadata Interchange,OMG元数据交换标准。

数据分类

对每类数据进行治理时,关注点、方法以及效果都不同,需要区别对待。

数据分类 描述
主数据(Master Data) 关于业务实体的数据
事务数据(Transactional Data) 业务运营过程中的内部或者外部事件或者交易记录
参考数据(Reference Data) 用于将其他数据进行分类或者目录整编的数据
元数据(Metadata) 描述数据的数据
统计分析数据(Analytical Data) 指对企业业务活动进行统计分析的数据

主数据 关注的是”人”和”物”,主数据管理是数据治理领域一个专门的话题,其主要目的是对关键业务实体(如员工、客户、产品、供应商等)建立统一视图,让客观世界里本是同一个人或物,在数据世界里也能做到唯一识别,而不是在不同系统、不同业务中成为不同的人或物。

事务数据 关注的是”事”,事务数据没有形成单独的数据治理领域,由于事务数据是BI分析的基础,因此往往在数据质量管理中重点关注。

参考数据 是更细粒度的数据,是对”人”“事”“物”的某些属性进行规范性描述的,对参考数据的管理一般会与主数据管理同时进行,或与BI数据质量管理同时进行,因为指标维度和维值直接影响到BI数据质量。

元数据 是一个包罗万象的概念,其本质是为数据提供描述,所以任何数据都有元数据。数据治理领域的元数据,更多是指BI、数据仓库这个范畴内的元数据(国际上有Common Warehouse Meta-model规范),此外还有信息资源管理的元数据(如Dublin core协议)、地理信息元数据、气象元数据等等。正因为如此广泛,也造成了从业者对其有极高的预期以及实践后的极大失落。

现在极少谈”元数据”,而是谈”数据定义”,谈数据必谈定义,但却又不将其作为专门一类数据来管理,在数据治理领域单独做元数据管理,收效甚微。 主要原因有两点:

  1. 数据生产与数据管理脱节,元数据管理更多是在数据生产的事后进行元数据收集和应用展现,对数据生产起到的管控作用极小;
  2. 工具自身问题:虽然很多工具都号称支持CWM规范,但元数据自动获取始终是技术难题,而且对于存储过程、自定义脚本很难自动解析和获取,就无法准确、完整展现细节的数据处理过程。

统计分析数据 ,目前BI系统建设的主要作用就是做各种指标和报表的计算和展示。统计分析数据往往是数据治理的重点,统计分析数据的数据流分析、统计分析数据的数值的波动性、平衡性监控,几乎是各个企业做数据治理的必备应用。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理“起航” 推动银行业高质量发展

    数据治理“起航” 推动银行业高质量发展

    银行业金融机构数据治理提上日程。近日,银监会发布《银行业金融机构数据治理指引(征求意见稿)》(以下简称《指引》),要求银行业金融机构将数……查看详情

    发布时间:2019.02.21来源:和讯网浏览量:84次

  • 大数据如何成为了驱动社会治理的创新转向?

    大数据如何成为了驱动社会治理的创新转向?

    大数据、智能化、移动互联、云计算成为了驱动经济发展和社会转型的重要力量,“用数据说话、用数据决策、用数据管理、用数据创新”成为了公共管理……查看详情

    发布时间:2018.09.30来源:中新界面浏览量:82次

  • 全球数据治理市场到2024年 - 数据量的增长以提供巨大的机会

    全球数据治理市场到2024年 - 数据量的增长以提供巨大的机会

    预计数据治理市场在预测期间(2019年至2024年)的复合年增长率将超过21.44%,预计到2024年将达到43.5亿美元的价值。 ……查看详情

    发布时间:2019.07.04来源:知乎浏览量:78次

  • 如何避免先污染后治理,浅谈数据标准管理的应用

    如何避免先污染后治理,浅谈数据标准管理的应用

    数据质量的提升作为数据治理环节中非常重要的一环,我们的确需要重视,但是我们知其然,还要知其所以然,从数据质量问题出发,我们还得知道到底为……查看详情

    发布时间:2019.12.13来源:亿信华辰浏览量:81次

  • 企业数据治理价值

    企业数据治理价值

    数据治理是根据数据治理政策,通过组织人员、流程和技术的相互协作,对数据从形态、内容和关系等层面进行规范管理,提升数据的服务能力,以实现数……查看详情

    发布时间:2019.09.30来源:CSDN浏览量:75次

  • 电力数据治理方案如何实施?要注意什么?

    电力数据治理方案如何实施?要注意什么?

    电力行业数据治理痛点,包括整体架构缺乏统一的数据中心,孤岛现象严重;数据治理方面缺乏统一的数据标准和数据质量关系;电力数据治理方案如何实……查看详情

    发布时间:2021.04.09来源:亿信数据治理研究院浏览量:361次

  • 11个顶级数据治理平台

    11个顶级数据治理平台

    虽然许多组织更加重视他们的数据治理计划,但“大多数企业都会在企业数据治理方面遇到困难,而他们最初只关注客户,供应商或产品,”MDM研究所……查看详情

    发布时间:2018.11.16来源:David Weldon浏览量:314次

  • 元数据:数据治理的燃料

    元数据:数据治理的燃料

    企业渴望从可提供竞争优势的数据中获取洞察力。实现这一目标的最常见障碍是数据质量差。如果输入到预测算法的数据是“脏的”(具有丢失或无效的值……查看详情

    发布时间:2019.08.02来源:知乎浏览量:78次

  • 数据生命周期管理工作包括哪些方面

    数据生命周期管理工作包括哪些方面

    睿治数据治理工具--数据生命周期管理平台支持数据资产全生命周期管理,根据存储周期自动计算每行数据的存储时限,并根据存储时限进行数据自动归……查看详情

    发布时间:2021.09.02来源:亿信华辰数据治理知识库浏览量:435次

  • 大数据是大问题?组织需要为数据管理负责

    大数据是大问题?组织需要为数据管理负责

    如果数据收集在2018年让人们明白一件事的话,那就是使用数据的公司与商业模式依赖数据利用的公司之间存在一条明显而深刻的界线。……查看详情

    发布时间:2019.04.08来源:亿信华辰浏览量:79次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议