企业的元数据和元数据管理平台介绍

发布时间:2020.08.31来源:CSDN浏览量:11次标签:数据治理

元数据管理是做什么?元数据在数据平台对原信息的收集、汇总和传递将数据平台各个模块整合起来。元数据管理系统是收集线上db、solor集群、hbase集群和hive集群的元数据信息,并将其传递给各其他系统。元数据管理为大数据平台绘制数据地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更及精确到字段级别的影响分析。打通上下游数据继承关系断层,为数据质量维护和业务逻辑可视化打下坚实基础。


要实现元数据管理有三个方面:
1、采集:指从各种工具中,把各种类型的元数据采集进来,采集是元数据管理第一步。
2、存储:采集之后需要相应的存储策略来对元数据进行存储,这需要在不改变存储架构的情况下扩展元数据存储的类型;
3、分析:在采集和存储完成后,对已经存储的元数据进行管理分析。

元数据的作用
(1) 元数据是进行数据集成所必需的
数据仓库最大的特点就是它的集成性。这一特点不仅体现在它所包含的数据上,还体现在实施数据仓库项目的过程当中。
一方面,从各个数据源中抽取的数据要按照一定的模式存入数据仓库中,这些数据源与数据仓库中数据的对应关系及转换规则都要存储在元数据知识库中;另一方面,在数据仓库项目实施过程中,直接建立数据仓库往往费时、费力,因此在实践当中,人们可能会按照统一的数据模型,首先建设数据集市,然后在各个数据集市的基础上再建设数据仓库。
不过,当数据集市数量增多时很容易形成“蜘蛛网”现象,而元数据管理是解决“蜘蛛网”的关键。如果在建立数据集市的过程中,注意了元数据管理,在集成到数据仓库中时就会比较顺利;相反,如果在建设数据集市的过程中忽视了元数据管理,那么最后的集成过程就会很困难,甚至不可能实现。

(2) 元数据定义的语义层可以帮助最终用户理解数据仓库中的数据
最终用户不可能象数据仓库系统管理员或开发人员那样熟悉数据库技术,因此迫切需要有一个“翻译”,能够使他们清晰地理解数据仓库中数据的含意。元数据可以实现业务模型与数据模型之间的映射,因而可以把数据以用户需要的方式“翻译”出来,从而帮助最终用户理解和使用数据。

(3) 元数据是保证数据质量的关键
数据仓库或数据集市建立好以后,使用者在使用的时候,常常会产生对数据的怀疑。这些怀疑往往是由于底层的数据对于用户来说是不“透明”的,使用者很自然地对结果产生怀疑。而借助元数据管理系统,最终的使用者对各个数据的来龙去脉以及数据抽取和转换的规则都会很方便地得到,这样他们自然会对数据具有信心;当然也可便捷地发现数据所存在的质量问题。甚至国外有学者还在元数据模型的基础上引入质量维,从更高的角度上来解决这一问题。

(4) 元数据可以支持需求变化
随着信息技术的发展和企业职能的变化,企业的需求也在不断地改变。如何构造一个随着需求改变而平滑变化的软件系统,是软件工程领域中的一个重要问题。传统的信息系统往往是通过文档来适应需求变化,但是仅仅依靠文档还是远远不够的。成功的元数据管理系统可以把整个业务的工作流、数据流和信息流有效地管理起来,使得系统不依赖特定的开发人员,从而提高系统的可扩展性。

简单来说,企业可以尝试以下步骤进行大数据的元数据管理:

考虑到企业可以获取数据的容量和多样性,应该创建一个体现关键大数据业务术语的业务定义词库(本体),该业务定义词库不仅仅包含结构化数据,还可以将半结构化和非结构化数据纳入其中。
及时跟进和理解各种大数据技术中的元数据,提供对其连续、及时地支持,
对业务术语中的敏感大数据进行标记和分类,并执行相应的大数据隐私政策。
将业务元数据和技术元数据进行链接,可以通过操作元数据(如流计算或 ETL 工具所生成的数据)监测大数据的流动;可以通过数据世系分析(血缘分析)在整个信息供应链中实现数据的正向追溯或逆向追溯,了解数据都经历了哪些变化,查看字段在信息供应链各组件间转换是否正确等;可以通过影响分析可以了解具体某个字段的变更会对信息供应链中其他组件中的字段造成哪些影响等。
扩展企业现有的元数据管理角色,以适应大数据治理的需要,提高企业的数据质量,让数据转化为价值。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 探索科学有效的数据治理之路

    探索科学有效的数据治理之路

    数据是数字经济的基础性战略资源,数据治理能力是国家竞争力的体现。随着移动互联网、物联网、云计算等信息技术的飞速发展,人们的生产和生活方式……查看详情

    发布时间:2020.07.31来源:CSDN浏览量:9次

  • 企业数据质量管理的水平、直接影响数字化转型的进程!

    企业数据质量管理的水平、直接影响数字化转型的进程!

    企业在数字化转型的过程中,需利用云计算、大数据、移动互联和物联网技术,通过新的产品和服务、新的业务模式和新的关系创造价值和竞争优势。数字……查看详情

    发布时间:2019.08.01来源:知乎浏览量:24次

  • 数据治理流程

    数据治理流程

    要真正把数据作为企业有价值的资产来管理,就必须像管理财务、人力资源等业务功能一样进行数据治理。财务功能由多个核心业务流程组成,如应付账款……查看详情

    发布时间:2019.08.19来源:CSDN浏览量:9次

  • 数据太多、太乱、太杂?你需要这样一套数据治理平台

    数据太多、太乱、太杂?你需要这样一套数据治理平台

    当前,企业变革已经成为企业适应剧烈变化的市场环境、实现长期发展的必经之路。然而,过去为组织带来工作效率提升的烟囱式的孤岛式的业务系统……查看详情

    发布时间:2019.11.20来源:知乎浏览量:4次

  • 企业数据治理项目中影响数据质量的5个因素

    企业数据治理项目中影响数据质量的5个因素

    数据是组织最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系,高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。……查看详情

    发布时间:2020.04.08来源:知乎浏览量:19次

  • 构建有效的数据科学团队

    构建有效的数据科学团队

    随着数据科学和人工智能几乎进入阳光下的每个行业,建立一个能够建立成功的AI项目的团队的挑战也是如此。对统计学家,程序员和沟通者完美融合的……查看详情

    发布时间:2019.03.15来源:亿信华辰浏览量:8次

  • 数据治理方案有哪几个步骤?

    数据治理方案有哪几个步骤?

    随着业务发展,公司对数据应用使用场景越来越多,数据也会随着业务快速增长,随之而来,数据质量、数据存储、数据模型建设等使用规范上都会出现一……查看详情

    发布时间:2022.03.15来源:小亿浏览量:89次

  • 侃侃什么是数据资产管理,数据资产到底是什么

    侃侃什么是数据资产管理,数据资产到底是什么

    近几年来,“数据就是资产”的观念已成为共识,大家对数据价值的重视程度与日俱增,数据资产管理也已被众多企业提上日程……查看详情

    发布时间:2020.08.19来源:微信浏览量:16次

  • 睿治元数据管理系统如何助力解决元数据管理难题

    睿治元数据管理系统如何助力解决元数据管理难题

    亿信华辰睿治数据治理平台先进的产品设计理念,充分依照国际规范、标准,具有国内先进水平。其广泛应用了MQ、分布式计算、zookeeper等……查看详情

    发布时间:2021.08.13来源:亿信华辰浏览量:40次

  • 金融行业大数据标准体系设计

    金融行业大数据标准体系设计

    金融大数据标准体系可分为基础标准、业务标准、治理标准和技术标准四大类。各类标准之间相互联系、相互约束、相互补充,共同构成完整的统一体。同……查看详情

    发布时间:2019.12.27来源:CSDN浏览量:21次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议