从元数据角度来认识大数据

发布时间:2020.02.21来源:知乎浏览量:527次标签:数据治理

什么是元数据?在前面的什么是元数据文章中,我们也提到过,元数据是数据的数据,可以帮助数据平台解决“有哪些数据”、“数据存储有多少”、“数据流中的血缘关系”、“如何找到我需要的数据”、“如何使用数据”和“数据的生产进度”问题。



元数据管理是做什么?

元数据在数据平台对原信息的收集、汇总和传递将数据平台各个模块整合起来。元数据管理系统是收集线上db、solor集群、hbase集群和hive集群的元数据信息,并将其传递给各其他系统。

元数据管理为大数据平台绘制数据地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更及精确到字段级别的影响分析。打通上下游数据继承关系断层,为数据质量维护和业务逻辑可视化打下坚实基础。

要实现元数据管理有三个方面:

1、采集:指从各种工具中,把各种类型的元数据采集进来,采集是元数据管理第一步。

2、存储:采集之后需要相应的存储策略来对元数据进行存储,这需要在不改变存储架构的情况下扩展元数据存储的类型;

3、分析:在采集和存储完成后,对已经存储的元数据进行管理分析。

在这里我们主要对元数据管理应用的元数据分析、数据地图功能进行深入了解。

元数据分析

假设有一天,我们需要对某一些业务信息指标做一个报表统计,用于前端的数据展示,这些业务信息可能来自于不同的表,通过不同的ETL过程到目标数据仓库,最后展示在一个报表中,如下图所示:

a、血缘分析

假设你在管理报表,有一天你发现有报表数据异常,你需要找出错误的数据并提交流程修正,那么这个错误数据从何而来?一个个核对数据显然不够高效,那你就得知道这个报表的的指标来源,元数据管理工具的血缘分析功能会自动帮助你分析这个错误数据的上游路径,比如这些数据是由table1和table2经过ETL过程进入DW,那么此时你只需要去查找table1和table2以及相关的ETL过程即可。

血缘分析可以清晰的帮助我们了解到所维护的数据的使用与被使用情况,犹如资产一般,便于维护定位与统一管理。

b、影响分析

数据终于更正了,此时你需要及时提醒大家这个数据的更正信息,只需要通知这个数据影响到的实体就可以了,然而整个报表流程的数据传递这么复杂,怎么判断哪些实体会受到这个数据的影响呢。

元数据管理工具的影响分析功能会分析出这个数据的影响范并能用可视化的方式展现出来,只需要更新受所影响的实体。

c、数据地图展现

随着业务规模的日益扩大,报表日益增多,有一天你想了解这个业务所有报表整体情况,有多少数据源和ETL过程组成,此时元数据管理工具的数据地图可以帮助你获取到想要的信息,数据地图展现功能可以通过可视化的方式,对整个业务的情况了如指掌,帮助你更好地观察整个业务流程的情况。


在当今这个大数据时代下,数据即为资产。数据因需求而成为有价资产,数据多寡即穷富,然而无法挖掘的数据是没有任何的价值,换句话说,如果没有管理好元数据,收集和存储的数据都会失去意义,也就没有业务价值。如何管理好元数据是非常重要的,根据权威数据管理研究机构TDWI对数百家国际企业的调研结果,元数据管理的重要性在全部技术主题中位列第一。通过元数据管理,可以形成系统化数据资产的准确视图,通过对元数据的统一视图,管理由各个业务系统的数据,梳理业务元数据之间的关系,并可以对这些数据进行来源、变迁进行跟踪分析。通过精确把握数据获取数据,从而把数据转为有价资产。


市场上对企业级元数据管理的需求还在不断增长,伴随着需求的增加,企业对数据模型和元数据管理互操作性的标准的关注会明显增加。

对企业技术人员而言,元数据管理平台通过将分散、存储结构差异大的资源信息进行描述、定位、检索、评估、分析,实现了信息的结构化,为机器处理创造了可能,从而大大降低数据治理人工成本。正因如此,元数据已经成为了很多大型数据治理项目的基础。

对企业业务人员而言,元数据管理平台通过对业务指标、业务术语、业务规则、业务含义等业务信息进行管控,协助业务人员了解业务含义、行业术语和规则、业务指标取数据口径和影响范围等。

未来,元数据管理势必将成为数字化转型的核心,也是未来趋势。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 银行业金融机构数据治理指引

    银行业金融机构数据治理指引

    为指导银行业金融机构加强数据治理,提高数据质量,发挥数据价值,提升经营管理能力,根据《中华人民共和国银行业监督管理法》等法律法规,制定本……查看详情

    发布时间:2019.08.08来源:CSDN浏览量:768次

  • 元数据治理—从数据的源头开始

    元数据治理—从数据的源头开始

    将题目分为两部分——元数据和数据治理时,元数据治理最容易理解。询问任何擅长元数据管理的组织(或提供他们的数据,信息和记录的完整文档),无……查看详情

    发布时间:2019.06.20来源:简书浏览量:609次

  • 数据治理在大数据领域的重要性

    数据治理在大数据领域的重要性

    即使在过去,企业也要面对超出其基础设施和流程处理能力的大量数据,更不用说要从数据中挖掘出对制定有效决策有实际价值的情报了。如今,随着种类……查看详情

    发布时间:2019.12.06来源:CSDN浏览量:487次

  • 数据治理—构建你的数据屏障

    数据治理—构建你的数据屏障

    在快速发展的技术,大数据和高级分析的时代,数据治理在每个组织中都发挥着至关重要的作用,无论规模大小或行业如何。从定义元数据管理指南,到解……查看详情

    发布时间:2019.06.28来源:知乎浏览量:413次

  • 智与理的结合:当数据治理遇上人工智能

    智与理的结合:当数据治理遇上人工智能

    近日,中国移动研究院发布文章,解说了数据治理和人工智能两者之间各自发展历程,论证了两者在结构功能上的相互作用,阐明了两者共同发展的前……查看详情

    发布时间:2018.09.18来源:中国大数据产业观察网浏览量:1052次

  • 数据治理和流分析的关系

    数据治理和流分析的关系

    借助流分析,可以通过智能数据模型和算法快速处理传入数据,以致在许多情况下,流数据没有机会被存储。与传统的分析过程相比,这是一个重要的变化……查看详情

    发布时间:2021.04.23来源:亿信数据治理知识库浏览量:462次

  • 如何构建企业安全易用的数据资产?

    如何构建企业安全易用的数据资产?

    在数据治理架构中,数据资产管理位于底层数据和数据管理与应用之间,处于承上启下的重要地位。对上支撑数据安全管理等职能建设以价值发掘为导向的……查看详情

    发布时间:2021.06.02来源:亿信华辰数据治理知识库浏览量:730次

  • 不是专业数据分析师的你,该如何科学地看待大数据呢?

    不是专业数据分析师的你,该如何科学地看待大数据呢?

    似乎很多创业人,都喜欢讲一些概念化的东西。例如前两年的互联网+,例如后来的大数据,又例如最近的区块链…………查看详情

    发布时间:2019.02.13来源:亿信华辰浏览量:382次

  • 快速构建集团数据中心!亿利集团这样打通分子公司数据

    快速构建集团数据中心!亿利集团这样打通分子公司数据

    亿利集团利用亿信华辰的数据采集平台i@Report+数据分析展现平台亿信BI(原BI@Report),搭建一站式数据应用平台,平台集数据……查看详情

    发布时间:2019.05.14来源:亿信华辰浏览量:411次

  • 浅谈企业数据治理的实践

    浅谈企业数据治理的实践

    在大数据时代,数据治理是所有的拥有大量数据的公司的巨大的挑战。没有数据,企业缺乏用于做决策的数据的支持。可是有了越来越多的数据,很多情况……查看详情

    发布时间:2019.09.04来源:知乎浏览量:567次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议