企业的元数据和元数据管理平台介绍

发布时间:2020.08.31来源:CSDN浏览量:96次标签:数据治理

元数据管理是做什么?元数据在数据平台对原信息的收集、汇总和传递将数据平台各个模块整合起来。元数据管理系统是收集线上db、solor集群、hbase集群和hive集群的元数据信息,并将其传递给各其他系统。元数据管理为大数据平台绘制数据地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更及精确到字段级别的影响分析。打通上下游数据继承关系断层,为数据质量维护和业务逻辑可视化打下坚实基础。


要实现元数据管理有三个方面:
1、采集:指从各种工具中,把各种类型的元数据采集进来,采集是元数据管理第一步。
2、存储:采集之后需要相应的存储策略来对元数据进行存储,这需要在不改变存储架构的情况下扩展元数据存储的类型;
3、分析:在采集和存储完成后,对已经存储的元数据进行管理分析。

元数据的作用
(1) 元数据是进行数据集成所必需的
数据仓库最大的特点就是它的集成性。这一特点不仅体现在它所包含的数据上,还体现在实施数据仓库项目的过程当中。
一方面,从各个数据源中抽取的数据要按照一定的模式存入数据仓库中,这些数据源与数据仓库中数据的对应关系及转换规则都要存储在元数据知识库中;另一方面,在数据仓库项目实施过程中,直接建立数据仓库往往费时、费力,因此在实践当中,人们可能会按照统一的数据模型,首先建设数据集市,然后在各个数据集市的基础上再建设数据仓库。
不过,当数据集市数量增多时很容易形成“蜘蛛网”现象,而元数据管理是解决“蜘蛛网”的关键。如果在建立数据集市的过程中,注意了元数据管理,在集成到数据仓库中时就会比较顺利;相反,如果在建设数据集市的过程中忽视了元数据管理,那么最后的集成过程就会很困难,甚至不可能实现。

(2) 元数据定义的语义层可以帮助最终用户理解数据仓库中的数据
最终用户不可能象数据仓库系统管理员或开发人员那样熟悉数据库技术,因此迫切需要有一个“翻译”,能够使他们清晰地理解数据仓库中数据的含意。元数据可以实现业务模型与数据模型之间的映射,因而可以把数据以用户需要的方式“翻译”出来,从而帮助最终用户理解和使用数据。

(3) 元数据是保证数据质量的关键
数据仓库或数据集市建立好以后,使用者在使用的时候,常常会产生对数据的怀疑。这些怀疑往往是由于底层的数据对于用户来说是不“透明”的,使用者很自然地对结果产生怀疑。而借助元数据管理系统,最终的使用者对各个数据的来龙去脉以及数据抽取和转换的规则都会很方便地得到,这样他们自然会对数据具有信心;当然也可便捷地发现数据所存在的质量问题。甚至国外有学者还在元数据模型的基础上引入质量维,从更高的角度上来解决这一问题。

(4) 元数据可以支持需求变化
随着信息技术的发展和企业职能的变化,企业的需求也在不断地改变。如何构造一个随着需求改变而平滑变化的软件系统,是软件工程领域中的一个重要问题。传统的信息系统往往是通过文档来适应需求变化,但是仅仅依靠文档还是远远不够的。成功的元数据管理系统可以把整个业务的工作流、数据流和信息流有效地管理起来,使得系统不依赖特定的开发人员,从而提高系统的可扩展性。

简单来说,企业可以尝试以下步骤进行大数据的元数据管理:

考虑到企业可以获取数据的容量和多样性,应该创建一个体现关键大数据业务术语的业务定义词库(本体),该业务定义词库不仅仅包含结构化数据,还可以将半结构化和非结构化数据纳入其中。
及时跟进和理解各种大数据技术中的元数据,提供对其连续、及时地支持,
对业务术语中的敏感大数据进行标记和分类,并执行相应的大数据隐私政策。
将业务元数据和技术元数据进行链接,可以通过操作元数据(如流计算或 ETL 工具所生成的数据)监测大数据的流动;可以通过数据世系分析(血缘分析)在整个信息供应链中实现数据的正向追溯或逆向追溯,了解数据都经历了哪些变化,查看字段在信息供应链各组件间转换是否正确等;可以通过影响分析可以了解具体某个字段的变更会对信息供应链中其他组件中的字段造成哪些影响等。
扩展企业现有的元数据管理角色,以适应大数据治理的需要,提高企业的数据质量,让数据转化为价值。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 美国政府开放数据的元数据标准对我国的启示

    美国政府开放数据的元数据标准对我国的启示

    从 2012 年至今,我国已相继上线近 20 个地方政 府开放数据的门户网站,国家层面的统一数据门户 网站 www.data.gov.c……查看详情

    发布时间:2019.08.27来源:大连海事大学交通运输管理学院浏览量:92次

  • 2025年大数据分析发展的预测

    2025年大数据分析发展的预测

    全球每天的互联网搜索、点击、分享、喜欢和刷卡都会产生大约2 5艾字节的数据。这仅仅是由于物联网推动的。IDC公司预测,到2025年数据量……查看详情

    发布时间:2019.03.07来源:亿信华辰浏览量:85次

  • 大数据资产管理总体框架概述

    大数据资产管理总体框架概述

    随着大数据时代的来临,对数据的重视提到了前所未有的高度,“数据即资产”已经被广泛认可。数据就像企业的根基,是各企业尚待发掘的财富,即将被……查看详情

    发布时间:2020.08.28来源:知乎浏览量:72次

  • 数据治理是真实的,是需要的!

    数据治理是真实的,是需要的!

    有许多组织可以很好地管理和管理他们的数据。或者是足够好(无论对每个组织来说意味着什么)。但是,还有其他组织根本不管理和管理他们的数据。他……查看详情

    发布时间:2019.06.19来源:简书浏览量:85次

  • 如何避免先污染后治理,浅谈数据标准管理的应用

    如何避免先污染后治理,浅谈数据标准管理的应用

    数据质量的提升作为数据治理环节中非常重要的一环,我们的确需要重视,但是我们知其然,还要知其所以然,从数据质量问题出发,我们还得知道到底为……查看详情

    发布时间:2019.12.13来源:亿信华辰浏览量:81次

  • 用大数据助力治理现代化

    用大数据助力治理现代化

    “要运用大数据提升国家治理现代化水平”“要建立健全大数据辅助科学决策和社会治理的机制,推进政府管理和社会治理模式创新”,习近平总书记的重……查看详情

    发布时间:2019.10.17来源:知乎浏览量:77次

  • 全方位解读 | 了解数据治理、挑战及数据治理工具

    全方位解读 | 了解数据治理、挑战及数据治理工具

    早在 2000 年代初,企业就将数据视为公司的战略资产,以指导战略决策,促进实验学习和改进,并提供更好的业务成果。数据安全已成为企业的重……查看详情

    发布时间:2021.07.29来源:亿信数据治理知识库浏览量:132次

  • 98%的企业备战数据治理,尚未入局的你还在等什么

    98%的企业备战数据治理,尚未入局的你还在等什么

    UBM近日发布了一份2018企业数据治理白皮书。白皮书中分析了数据治理的现状:虽然越来越多的企业(尤其是业务部门及IT部门)逐渐开始关注……查看详情

    发布时间:2018.12.10来源:亿信华辰浏览量:87次

  • 打破数据治理:数据质量

    打破数据治理:数据质量

    任何数据驱动的计划的成功取决于该数据是否相关且值得信赖。随着越来越多的大学将数据视为负责任的战略规划和计划的关键,许多人都意识到:有些数……查看详情

    发布时间:2019.07.11来源:知乎浏览量:100次

  • 面对数据治理的挑战及难点,如何找到最佳方案?

    面对数据治理的挑战及难点,如何找到最佳方案?

    面对以上8点数据治理最佳实践方法,小编为您推荐一款好用的数据治理工具配合实施数据治理方案,不仅可以保证您的数据治理项目按计划实施,也可以……查看详情

    发布时间:2021.07.01来源:亿信数据治理知识库浏览量:80次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议