数据治理为什么成为企业必备?

发布时间:2020.07.29来源:CSDN浏览量:13次标签:数据治理

基本概念

什么是数据治理?

答:又叫”数据管控”。引用《DAMA 数据管理知识体系指南》一书给出的定义:数据治理是对数据资产管理行使权力和控制的活动集合(规划、监控和执行)。数据治理职能指导其他数据管理职能如何执行。

数据元:通过名称、格式、长度、定义值域等一系列属性描述的数据单元。

代码集:数据元的取值范围。

数据元类目:按照标准规范对数据元进行分类。

元数据:对数据资源的描述性信息(数据的数据)。例如数据表的字段就是描述这些数据表中数据的元数据。

元模型:定义各种元数据的结构以及元数据间的关系。

概述

元数据(Metadata) 使得用户可以掌握数据的历史情况,如数据从哪里来?流通时间有多长?更新频率是多大?数据元素的含义是什么?对它已经进行了哪些计算、转换和筛选等等。在需求不确定情况下,在瞬间万变的商业环境下,元数据可以更好的支持需求的变化,降低项目风险。

元数据按照适用场景可有以下两种区分:

  • 技术元数据—-从开发的角度描述的元数据,应用于开发、管理和维护数据治理平台
  • 业务元数据—-从业务的角度描述的元数据,提供良好的语义层定义,更便于业务人员理解。

元数据贯彻于建立数据仓库的全过程,不仅仅只是TL过程。

元数据标准 不统一,各厂商、各软件采用不同的元数据标准。业界需要统一的标准,以便各个软件系统之间可以相互交换元数据。CWG 1.0 (Common Warehouse Metamodel Version 1.0) 就是一种,其定义一个描述数据源、数据目的、转换、分析的元数据框架,以及定义建立和管理数据仓库的过程和操作,提供使用信息的继承。目前宣布支持CWM的厂商包括:IBM、Oracle、Hyperion、Dimension EDI、Genesis IONA、HP、NCR和Unisys等。

CWM基于3个工业标准:

  • UML - Unified Modeling Language,OMG建模标准;
  • MOF - Meta Object Facility,OMG建立元模型和模型库的标准,提供在异构环境下的数据交换的接口;
  • XMI - XML Metadata Interchange,OMG元数据交换标准。

数据分类

对每类数据进行治理时,关注点、方法以及效果都不同,需要区别对待。

数据分类 描述
主数据(Master Data) 关于业务实体的数据
事务数据(Transactional Data) 业务运营过程中的内部或者外部事件或者交易记录
参考数据(Reference Data) 用于将其他数据进行分类或者目录整编的数据
元数据(Metadata) 描述数据的数据
统计分析数据(Analytical Data) 指对企业业务活动进行统计分析的数据

主数据 关注的是”人”和”物”,主数据管理是数据治理领域一个专门的话题,其主要目的是对关键业务实体(如员工、客户、产品、供应商等)建立统一视图,让客观世界里本是同一个人或物,在数据世界里也能做到唯一识别,而不是在不同系统、不同业务中成为不同的人或物。

事务数据 关注的是”事”,事务数据没有形成单独的数据治理领域,由于事务数据是BI分析的基础,因此往往在数据质量管理中重点关注。

参考数据 是更细粒度的数据,是对”人”“事”“物”的某些属性进行规范性描述的,对参考数据的管理一般会与主数据管理同时进行,或与BI数据质量管理同时进行,因为指标维度和维值直接影响到BI数据质量。

元数据 是一个包罗万象的概念,其本质是为数据提供描述,所以任何数据都有元数据。数据治理领域的元数据,更多是指BI、数据仓库这个范畴内的元数据(国际上有Common Warehouse Meta-model规范),此外还有信息资源管理的元数据(如Dublin core协议)、地理信息元数据、气象元数据等等。正因为如此广泛,也造成了从业者对其有极高的预期以及实践后的极大失落。

现在极少谈”元数据”,而是谈”数据定义”,谈数据必谈定义,但却又不将其作为专门一类数据来管理,在数据治理领域单独做元数据管理,收效甚微。 主要原因有两点:

  1. 数据生产与数据管理脱节,元数据管理更多是在数据生产的事后进行元数据收集和应用展现,对数据生产起到的管控作用极小;
  2. 工具自身问题:虽然很多工具都号称支持CWM规范,但元数据自动获取始终是技术难题,而且对于存储过程、自定义脚本很难自动解析和获取,就无法准确、完整展现细节的数据处理过程。

统计分析数据 ,目前BI系统建设的主要作用就是做各种指标和报表的计算和展示。统计分析数据往往是数据治理的重点,统计分析数据的数据流分析、统计分析数据的数值的波动性、平衡性监控,几乎是各个企业做数据治理的必备应用。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 如今传统企业如何做数字化转型?

    如今传统企业如何做数字化转型?

    什么是数字化转型?“数字化转型”实际上就是对业务过程进行的重塑,通过重塑使其默认就更加适应更全面的在线环境,从最……查看详情

    发布时间:2020.07.31来源:知乎浏览量:2次

  • 走向人工智能治理的趋势

    走向人工智能治理的趋势

    这是人工智能(AI)驱动的自动化和自动机器的时代。自我改进,自我复制,自主智能机器日益普及和迅速扩大的潜力刺激了网络空间,地球空间和空间……查看详情

    发布时间:2019.03.13来源:亿信华辰浏览量:1次

  • 2019年的数据架构趋势

    2019年的数据架构趋势

    当今数字业务的一个主要问题是数据的可靠性。许多商业用户仍在评判数据引导分析的最终价值,并持有一定程度的怀疑态度,这只会随着时间的推移而改……查看详情

    发布时间:2019.02.13来源:数据治理浏览量:1次

  • 为什么我们需要数据仓库

    为什么我们需要数据仓库

    如果直接从业务数据库取数据没有数据仓库时,我们需要直接从业务数据库中取数据来做分析。业务数据库主要是为业务操作服务,虽然可以用于分析,但……查看详情

    发布时间:2019.01.07来源:LongFei浏览量:2次

  • 元数据管理101:什么,为什么以及如何

    元数据管理101:什么,为什么以及如何

    元数据管理已逐渐成为成功的数字化计划战略的最重要实践之一。随着大数据和云等分布式体系结构的兴起,可以创建孤立的系统和数据,元数据管理对于……查看详情

    发布时间:2018.12.19来源:数据治理浏览量:2次

  • 数据质量对数据治理的重要性!

    数据质量对数据治理的重要性!

    人常说“失之毫厘,差之千里”,在数据来源多样化的情况下,数据的可靠性和实用性,直接影响到统计分析是否得到正确的结论,所以说数据的质量尤为……查看详情

    发布时间:2019.11.01来源:知乎浏览量:1次

  • 区块链和AI如何帮助掌握数据管理

    区块链和AI如何帮助掌握数据管理

    主数据很容易成为企业拥有的最重要的资产之一。随着数字化的不断发展和第四次工业革命的到来,主数据的价值和主数据管理的重要性才会增长。在我们……查看详情

    发布时间:2019.07.11来源:福布斯浏览量:1次

  • 零售商的数据治理势在必行

    零售商的数据治理势在必行

    最好的零售商擅长推销商品。在顶级的实体和电子商务商店,产品组织巧妙,布置精美,色彩鲜明,使客户可以轻松找到他们想要的东西。做得好,商品推……查看详情

    发布时间:2019.02.14来源:亿信华辰浏览量:4次

  • 数据治理直击灵魂的四问:治什么?谁来治?怎么治?选哪个?

    数据治理直击灵魂的四问:治什么?谁来治?怎么治?选哪个?

    近些年来,“数据治理”这个词总是高频出现,让人们对其“身世背景”格外好奇。国际数据治理研究所(DGI)给出的定义:数据治理是一个通过一系……查看详情

    发布时间:2020.09.19来源:知乎浏览量:1次

  • 2021金融数据治理的趋势

    2021金融数据治理的趋势

    金融数据治理逐渐体现出了目标双核化、结果资产化、手段科技化的特点,并且具有了生态治理、标准治理、中台治理的数据治理趋势。……查看详情

    发布时间:2021.05.18来源:亿信数据治理知识库浏览量:2次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议