从元数据角度来认识大数据

发布时间:2020.02.21来源:知乎浏览量:23次标签:数据治理

什么是元数据?在前面的什么是元数据文章中,我们也提到过,元数据是数据的数据,可以帮助数据平台解决“有哪些数据”、“数据存储有多少”、“数据流中的血缘关系”、“如何找到我需要的数据”、“如何使用数据”和“数据的生产进度”问题。



元数据管理是做什么?

元数据在数据平台对原信息的收集、汇总和传递将数据平台各个模块整合起来。元数据管理系统是收集线上db、solor集群、hbase集群和hive集群的元数据信息,并将其传递给各其他系统。

元数据管理为大数据平台绘制数据地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更及精确到字段级别的影响分析。打通上下游数据继承关系断层,为数据质量维护和业务逻辑可视化打下坚实基础。

要实现元数据管理有三个方面:

1、采集:指从各种工具中,把各种类型的元数据采集进来,采集是元数据管理第一步。

2、存储:采集之后需要相应的存储策略来对元数据进行存储,这需要在不改变存储架构的情况下扩展元数据存储的类型;

3、分析:在采集和存储完成后,对已经存储的元数据进行管理分析。

在这里我们主要对元数据管理应用的元数据分析、数据地图功能进行深入了解。

元数据分析

假设有一天,我们需要对某一些业务信息指标做一个报表统计,用于前端的数据展示,这些业务信息可能来自于不同的表,通过不同的ETL过程到目标数据仓库,最后展示在一个报表中,如下图所示:

a、血缘分析

假设你在管理报表,有一天你发现有报表数据异常,你需要找出错误的数据并提交流程修正,那么这个错误数据从何而来?一个个核对数据显然不够高效,那你就得知道这个报表的的指标来源,元数据管理工具的血缘分析功能会自动帮助你分析这个错误数据的上游路径,比如这些数据是由table1和table2经过ETL过程进入DW,那么此时你只需要去查找table1和table2以及相关的ETL过程即可。

血缘分析可以清晰的帮助我们了解到所维护的数据的使用与被使用情况,犹如资产一般,便于维护定位与统一管理。

b、影响分析

数据终于更正了,此时你需要及时提醒大家这个数据的更正信息,只需要通知这个数据影响到的实体就可以了,然而整个报表流程的数据传递这么复杂,怎么判断哪些实体会受到这个数据的影响呢。

元数据管理工具的影响分析功能会分析出这个数据的影响范并能用可视化的方式展现出来,只需要更新受所影响的实体。

c、数据地图展现

随着业务规模的日益扩大,报表日益增多,有一天你想了解这个业务所有报表整体情况,有多少数据源和ETL过程组成,此时元数据管理工具的数据地图可以帮助你获取到想要的信息,数据地图展现功能可以通过可视化的方式,对整个业务的情况了如指掌,帮助你更好地观察整个业务流程的情况。


在当今这个大数据时代下,数据即为资产。数据因需求而成为有价资产,数据多寡即穷富,然而无法挖掘的数据是没有任何的价值,换句话说,如果没有管理好元数据,收集和存储的数据都会失去意义,也就没有业务价值。如何管理好元数据是非常重要的,根据权威数据管理研究机构TDWI对数百家国际企业的调研结果,元数据管理的重要性在全部技术主题中位列第一。通过元数据管理,可以形成系统化数据资产的准确视图,通过对元数据的统一视图,管理由各个业务系统的数据,梳理业务元数据之间的关系,并可以对这些数据进行来源、变迁进行跟踪分析。通过精确把握数据获取数据,从而把数据转为有价资产。


市场上对企业级元数据管理的需求还在不断增长,伴随着需求的增加,企业对数据模型和元数据管理互操作性的标准的关注会明显增加。

对企业技术人员而言,元数据管理平台通过将分散、存储结构差异大的资源信息进行描述、定位、检索、评估、分析,实现了信息的结构化,为机器处理创造了可能,从而大大降低数据治理人工成本。正因如此,元数据已经成为了很多大型数据治理项目的基础。

对企业业务人员而言,元数据管理平台通过对业务指标、业务术语、业务规则、业务含义等业务信息进行管控,协助业务人员了解业务含义、行业术语和规则、业务指标取数据口径和影响范围等。

未来,元数据管理势必将成为数字化转型的核心,也是未来趋势。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 为什么数据治理是改善决策的关键

    为什么数据治理是改善决策的关键

    能够快速收集大量数据,分析数据,然后使用您学到的知识来帮助促进更好的决策,这是许多企业高管的梦想。但是就像任何可以在一个句子中总结的事物……查看详情

    发布时间:2019.01.22来源:亿信华辰浏览量:8次

  • 深入浅出元数据及元数据管理

    深入浅出元数据及元数据管理

    大数据时代下,数据已被公认为一项重要的资产。而元数据管理作为数据管理框架中一项重要的管理职能,也越来越多的出现在大家的视野中。但是对于元……查看详情

    发布时间:2019.10.24来源:亿信华辰浏览量:6次

  • 指标管理实践技能:如何让同一套指标体系展示为不同的树形结构

    指标管理实践技能:如何让同一套指标体系展示为不同的树形结构

    企业的指标体系的建设和维护工作非常繁杂,指标的数据来源、指标公式的维护、指标数据的更新、指标数据的应用,往往涉及到企业的多个部门,这些部……查看详情

    发布时间:2021.02.06来源:知乎浏览量:10次

  • 银监会拟要求银行业金融机构加强数据治理

    银监会拟要求银行业金融机构加强数据治理

    银行业金融机构将数据治理纳入公司治理范畴,明确数据管理和数据质量控制的要求,鼓励银行业金融机构开展制度性探索,结合实际情况设置首席数据官……查看详情

    发布时间:2019.10.18来源:新华网浏览量:13次

  • 数据质量分析定义的六个阶段

    数据质量分析定义的六个阶段

    企业数据质量治理对象一般主要包括两类数据:一类是操作型数据,例如:主数据、参照数据和交易数据。……查看详情

    发布时间:2019.12.06来源:知乎浏览量:5次

  • 元数据治理—从数据的源头开始

    元数据治理—从数据的源头开始

    将题目分为两部分——元数据和数据治理时,元数据治理最容易理解。询问任何擅长元数据管理的组织(或提供他们的数据,信息和记录的完整文档),无……查看详情

    发布时间:2019.06.20来源:简书浏览量:13次

  • 美国政府开放数据的元数据标准对我国的启示

    美国政府开放数据的元数据标准对我国的启示

    从 2012 年至今,我国已相继上线近 20 个地方政 府开放数据的门户网站,国家层面的统一数据门户 网站 www.data.gov.c……查看详情

    发布时间:2019.08.27来源:大连海事大学交通运输管理学院浏览量:11次

  • 数据管理和分析趋势正在改变世界

    数据管理和分析趋势正在改变世界

    现在的数据世界正在发生什么,它将如何影响2018年的市场?比如这些头条新闻:人工智能无处不在,并将改变一切;企业继续将他们的基础设施和数……查看详情

    发布时间:2019.01.03来源:bingdata123浏览量:14次

  • 数据治理的关键要求是什么?

    数据治理的关键要求是什么?

    这些功能中的每一项都可以实现受管理的环境 目录和数据字典元数据的组合为数据策略和使用的可审计性提供了完整的信息。它还包含血统和操纵。工作……查看详情

    发布时间:2019.03.20来源:亿信华辰浏览量:8次

  • 企业数据治理框架

    企业数据治理框架

    大多数公司都采用零碎,随意的方式收集和存储数据。公司采用孤立的方法获取数据并不罕见,每个部门都自己收集数据并设计自己的管理规则。从整体上……查看详情

    发布时间:2019.08.02来源:知乎浏览量:7次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议