企业的元数据和元数据管理平台介绍

发布时间:2020.08.31来源:CSDN浏览量:161次标签:数据治理

元数据管理是做什么?元数据在数据平台对原信息的收集、汇总和传递将数据平台各个模块整合起来。元数据管理系统是收集线上db、solor集群、hbase集群和hive集群的元数据信息,并将其传递给各其他系统。元数据管理为大数据平台绘制数据地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更及精确到字段级别的影响分析。打通上下游数据继承关系断层,为数据质量维护和业务逻辑可视化打下坚实基础。


要实现元数据管理有三个方面:
1、采集:指从各种工具中,把各种类型的元数据采集进来,采集是元数据管理第一步。
2、存储:采集之后需要相应的存储策略来对元数据进行存储,这需要在不改变存储架构的情况下扩展元数据存储的类型;
3、分析:在采集和存储完成后,对已经存储的元数据进行管理分析。

元数据的作用
(1) 元数据是进行数据集成所必需的
数据仓库最大的特点就是它的集成性。这一特点不仅体现在它所包含的数据上,还体现在实施数据仓库项目的过程当中。
一方面,从各个数据源中抽取的数据要按照一定的模式存入数据仓库中,这些数据源与数据仓库中数据的对应关系及转换规则都要存储在元数据知识库中;另一方面,在数据仓库项目实施过程中,直接建立数据仓库往往费时、费力,因此在实践当中,人们可能会按照统一的数据模型,首先建设数据集市,然后在各个数据集市的基础上再建设数据仓库。
不过,当数据集市数量增多时很容易形成“蜘蛛网”现象,而元数据管理是解决“蜘蛛网”的关键。如果在建立数据集市的过程中,注意了元数据管理,在集成到数据仓库中时就会比较顺利;相反,如果在建设数据集市的过程中忽视了元数据管理,那么最后的集成过程就会很困难,甚至不可能实现。

(2) 元数据定义的语义层可以帮助最终用户理解数据仓库中的数据
最终用户不可能象数据仓库系统管理员或开发人员那样熟悉数据库技术,因此迫切需要有一个“翻译”,能够使他们清晰地理解数据仓库中数据的含意。元数据可以实现业务模型与数据模型之间的映射,因而可以把数据以用户需要的方式“翻译”出来,从而帮助最终用户理解和使用数据。

(3) 元数据是保证数据质量的关键
数据仓库或数据集市建立好以后,使用者在使用的时候,常常会产生对数据的怀疑。这些怀疑往往是由于底层的数据对于用户来说是不“透明”的,使用者很自然地对结果产生怀疑。而借助元数据管理系统,最终的使用者对各个数据的来龙去脉以及数据抽取和转换的规则都会很方便地得到,这样他们自然会对数据具有信心;当然也可便捷地发现数据所存在的质量问题。甚至国外有学者还在元数据模型的基础上引入质量维,从更高的角度上来解决这一问题。

(4) 元数据可以支持需求变化
随着信息技术的发展和企业职能的变化,企业的需求也在不断地改变。如何构造一个随着需求改变而平滑变化的软件系统,是软件工程领域中的一个重要问题。传统的信息系统往往是通过文档来适应需求变化,但是仅仅依靠文档还是远远不够的。成功的元数据管理系统可以把整个业务的工作流、数据流和信息流有效地管理起来,使得系统不依赖特定的开发人员,从而提高系统的可扩展性。

简单来说,企业可以尝试以下步骤进行大数据的元数据管理:

考虑到企业可以获取数据的容量和多样性,应该创建一个体现关键大数据业务术语的业务定义词库(本体),该业务定义词库不仅仅包含结构化数据,还可以将半结构化和非结构化数据纳入其中。
及时跟进和理解各种大数据技术中的元数据,提供对其连续、及时地支持,
对业务术语中的敏感大数据进行标记和分类,并执行相应的大数据隐私政策。
将业务元数据和技术元数据进行链接,可以通过操作元数据(如流计算或 ETL 工具所生成的数据)监测大数据的流动;可以通过数据世系分析(血缘分析)在整个信息供应链中实现数据的正向追溯或逆向追溯,了解数据都经历了哪些变化,查看字段在信息供应链各组件间转换是否正确等;可以通过影响分析可以了解具体某个字段的变更会对信息供应链中其他组件中的字段造成哪些影响等。
扩展企业现有的元数据管理角色,以适应大数据治理的需要,提高企业的数据质量,让数据转化为价值。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理的定义:什么是数据治理?

    数据治理的定义:什么是数据治理?

    数据治理(DG)是增长最快的学科之一,但在定义数据治理方面,许多组织都在努力。 Dataversity称DG是“有助于确保组织内数据资……查看详情

    发布时间:2018.11.15来源:Zak Cole浏览量:222次

  • 数据治理的概念、难点和最佳实践方法

    数据治理的概念、难点和最佳实践方法

    数字化转型的目的和核心是数据赋能业务,通过智能数据归一、数据统一治理与服务、数据实体化融合、数据资产化的方式,帮助实现业务转型、创新和增……查看详情

    发布时间:2021.08.06来源:亿信华辰,数据治理的实践方法浏览量:149次

  • 银行业金融机构数据治理指引

    银行业金融机构数据治理指引

    为指导银行业金融机构加强数据治理,提高数据质量,发挥数据价值,提升经营管理能力,根据《中华人民共和国银行业监督管理法》等法律法规,制定本……查看详情

    发布时间:2019.08.08来源:CSDN浏览量:327次

  • 为什么应该让企业销售和营销团队参与数据治理

    为什么应该让企业销售和营销团队参与数据治理

    虽然在许多人看来,数据治理可能仅仅是IT部门的领域。但现实情况是,每个与客户相关的组织部门都应该参与进来。特别是应该鼓励销售和营销团队在……查看详情

    发布时间:2018.11.15来源:塞浦路斯浏览量:262次

  • 数据治理带给企业的6个惊喜

    数据治理带给企业的6个惊喜

    数据治理是GDPR的强制要求实际是一把双刃剑。一方面,法律法规的强制规定能立即引起客户对数据治理的重视。另一方面,为了达到合规,很多企业……查看详情

    发布时间:2019.08.07来源:CSDN浏览量:130次

  • 数据治理标准:数据质量六大评价标准

    数据治理标准:数据质量六大评价标准

    众所周知,大数据建设的目标是为了融合组织数据,增加组织的洞察力和竞争力,实现业务创新和产业升级。因此,数据是企业数字化转型的核心要素,而……查看详情

    发布时间:2022.03.10来源:小亿浏览量:1885次

  • 做好数据治理才能建设大数据平台

    做好数据治理才能建设大数据平台

    大数据不是凭空而来,1981年第一个数据仓库诞生,到现在已经有了近40年的历史,而国内企业数据平台的建设大概从90年代末就开始了,从第一……查看详情

    发布时间:2018.11.28来源:数据治理浏览量:173次

  • 数据架构和数据治理的速赢

    数据架构和数据治理的速赢

    Burbank根据DAMA国际数据管理知识体系(DMBoK2)定义数据架构为:数据架构是数据管理的基础。因为大多数组织拥有个人难以想象的……查看详情

    发布时间:2020.11.08来源:知乎浏览量:244次

  • 数据治理和当今的新数据目标

    数据治理和当今的新数据目标

    尽管实施全面的治理计划似乎令人生畏,但拥有有效数据治理策略和MDM解决方案的公司不断寻找新方法从数据中提取价值。……查看详情

    发布时间:2019.03.25来源:亿信华辰浏览量:141次

  • 盘它!终于有了数据治理全栈解决方案,这个工具全搞定

    盘它!终于有了数据治理全栈解决方案,这个工具全搞定

    引言中国银监会在2018年发布《银行业金融机构数据治理指引》,明确了数据治理架构,提高数据管理和数据质量质效,至此银行业金融机构全面拉开……查看详情

    发布时间:2019.06.13来源:亿信华辰浏览量:123次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议