企业的元数据和元数据管理平台介绍

发布时间:2020.08.31来源:CSDN浏览量:187次标签:数据治理

元数据管理是做什么?元数据在数据平台对原信息的收集、汇总和传递将数据平台各个模块整合起来。元数据管理系统是收集线上db、solor集群、hbase集群和hive集群的元数据信息,并将其传递给各其他系统。元数据管理为大数据平台绘制数据地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更及精确到字段级别的影响分析。打通上下游数据继承关系断层,为数据质量维护和业务逻辑可视化打下坚实基础。


要实现元数据管理有三个方面:
1、采集:指从各种工具中,把各种类型的元数据采集进来,采集是元数据管理第一步。
2、存储:采集之后需要相应的存储策略来对元数据进行存储,这需要在不改变存储架构的情况下扩展元数据存储的类型;
3、分析:在采集和存储完成后,对已经存储的元数据进行管理分析。

元数据的作用
(1) 元数据是进行数据集成所必需的
数据仓库最大的特点就是它的集成性。这一特点不仅体现在它所包含的数据上,还体现在实施数据仓库项目的过程当中。
一方面,从各个数据源中抽取的数据要按照一定的模式存入数据仓库中,这些数据源与数据仓库中数据的对应关系及转换规则都要存储在元数据知识库中;另一方面,在数据仓库项目实施过程中,直接建立数据仓库往往费时、费力,因此在实践当中,人们可能会按照统一的数据模型,首先建设数据集市,然后在各个数据集市的基础上再建设数据仓库。
不过,当数据集市数量增多时很容易形成“蜘蛛网”现象,而元数据管理是解决“蜘蛛网”的关键。如果在建立数据集市的过程中,注意了元数据管理,在集成到数据仓库中时就会比较顺利;相反,如果在建设数据集市的过程中忽视了元数据管理,那么最后的集成过程就会很困难,甚至不可能实现。

(2) 元数据定义的语义层可以帮助最终用户理解数据仓库中的数据
最终用户不可能象数据仓库系统管理员或开发人员那样熟悉数据库技术,因此迫切需要有一个“翻译”,能够使他们清晰地理解数据仓库中数据的含意。元数据可以实现业务模型与数据模型之间的映射,因而可以把数据以用户需要的方式“翻译”出来,从而帮助最终用户理解和使用数据。

(3) 元数据是保证数据质量的关键
数据仓库或数据集市建立好以后,使用者在使用的时候,常常会产生对数据的怀疑。这些怀疑往往是由于底层的数据对于用户来说是不“透明”的,使用者很自然地对结果产生怀疑。而借助元数据管理系统,最终的使用者对各个数据的来龙去脉以及数据抽取和转换的规则都会很方便地得到,这样他们自然会对数据具有信心;当然也可便捷地发现数据所存在的质量问题。甚至国外有学者还在元数据模型的基础上引入质量维,从更高的角度上来解决这一问题。

(4) 元数据可以支持需求变化
随着信息技术的发展和企业职能的变化,企业的需求也在不断地改变。如何构造一个随着需求改变而平滑变化的软件系统,是软件工程领域中的一个重要问题。传统的信息系统往往是通过文档来适应需求变化,但是仅仅依靠文档还是远远不够的。成功的元数据管理系统可以把整个业务的工作流、数据流和信息流有效地管理起来,使得系统不依赖特定的开发人员,从而提高系统的可扩展性。

简单来说,企业可以尝试以下步骤进行大数据的元数据管理:

考虑到企业可以获取数据的容量和多样性,应该创建一个体现关键大数据业务术语的业务定义词库(本体),该业务定义词库不仅仅包含结构化数据,还可以将半结构化和非结构化数据纳入其中。
及时跟进和理解各种大数据技术中的元数据,提供对其连续、及时地支持,
对业务术语中的敏感大数据进行标记和分类,并执行相应的大数据隐私政策。
将业务元数据和技术元数据进行链接,可以通过操作元数据(如流计算或 ETL 工具所生成的数据)监测大数据的流动;可以通过数据世系分析(血缘分析)在整个信息供应链中实现数据的正向追溯或逆向追溯,了解数据都经历了哪些变化,查看字段在信息供应链各组件间转换是否正确等;可以通过影响分析可以了解具体某个字段的变更会对信息供应链中其他组件中的字段造成哪些影响等。
扩展企业现有的元数据管理角色,以适应大数据治理的需要,提高企业的数据质量,让数据转化为价值。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理——银行将被如何规范?

    数据治理——银行将被如何规范?

    我们认为,此番对数据治理的指引,未来可能会被其他金融监管机构作为范本,约束互联网金融或其他业态的数据治理行为,因此,具有学习和研究价值。……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:181次

  • 数据治理和流分析的关系

    数据治理和流分析的关系

    借助流分析,可以通过智能数据模型和算法快速处理传入数据,以致在许多情况下,流数据没有机会被存储。与传统的分析过程相比,这是一个重要的变化……查看详情

    发布时间:2021.04.23来源:亿信数据治理知识库浏览量:188次

  • 企业何时考虑启动数据治理项目

    企业何时考虑启动数据治理项目

    数据治理应用方面原因有什么,企业信息化建设到了一定程度,开始对数据进行相关的展示、分析、应用等,进一步提高数据对企业统计分析和决策支持的……查看详情

    发布时间:2020.04.08来源:知乎浏览量:151次

  • 企业数据治理存在很多误区和陷阱

    企业数据治理存在很多误区和陷阱

    企业数据治理存在很多误区和陷阱,最常见的陷阱包括:重IT而轻业务: 尽管通常是专业IT人员最先认识到数据治理的必要性,但他们既不是数据的……查看详情

    发布时间:2020.07.09来源:CSDN浏览量:165次

  • 数据管理和分析趋势正在改变世界

    数据管理和分析趋势正在改变世界

    现在的数据世界正在发生什么,它将如何影响2018年的市场?比如这些头条新闻:人工智能无处不在,并将改变一切;企业继续将他们的基础设施和数……查看详情

    发布时间:2019.01.03来源:bingdata123浏览量:159次

  • 什么是主数据管理系统?

    什么是主数据管理系统?

    采集与集成、共享、数据质量、数据治理是主数据管理的四大要素,主数据管理要做的就是从企业外部和企业的多个业务系统中采集和整合最核心的、最需……查看详情

    发布时间:2020.04.29来源:知乎浏览量:204次

  • 数据湖架构 - 最佳实践指南

    数据湖架构 - 最佳实践指南

    实施正确的数据湖架构对于将数据转化为价值至关重要。无论您的数据湖中有多少数据,如果您缺乏有效管理数据、跟踪数据并确保其安全的架构特性,那……查看详情

    发布时间:2021.06.18来源:亿信数据治理知识库浏览量:208次

  • 数据治理、共享交换、数据仓库、数据中心的关系

    数据治理、共享交换、数据仓库、数据中心的关系

    建数据中心离不开数据,以前设计数据库都是从事务性数据库考虑(做的都是业务系统,思维模式太固定了),没有从数据仓库的角度来统管分析。以下是……查看详情

    发布时间:2019.08.07来源:CSDN浏览量:264次

  • 企业如何开展数据治理项目

    企业如何开展数据治理项目

    从大的阶段来看,数据治理主要分为存量数据“由乱到治”的阶段,以及增量数据严格按照规章制度实施确保“行不逾矩”的运营阶段。在“由乱到治”的……查看详情

    发布时间:2020.06.30来源:知乎浏览量:156次

  • 用大数据提高社会治理智能化水平

    用大数据提高社会治理智能化水平

    大数据为提高我国社会治理智能化水平开辟了广阔空间。用大数据提高社会治理智能化水平,关键在于找准大数据与社会治理创新的契合点,将大数据同社……查看详情

    发布时间:2019.10.18来源:人民网浏览量:182次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议