从元数据角度来认识大数据

发布时间:2020.02.21来源:知乎浏览量:2次标签:数据治理

什么是元数据?在前面的什么是元数据文章中,我们也提到过,元数据是数据的数据,可以帮助数据平台解决“有哪些数据”、“数据存储有多少”、“数据流中的血缘关系”、“如何找到我需要的数据”、“如何使用数据”和“数据的生产进度”问题。



元数据管理是做什么?

元数据在数据平台对原信息的收集、汇总和传递将数据平台各个模块整合起来。元数据管理系统是收集线上db、solor集群、hbase集群和hive集群的元数据信息,并将其传递给各其他系统。

元数据管理为大数据平台绘制数据地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更及精确到字段级别的影响分析。打通上下游数据继承关系断层,为数据质量维护和业务逻辑可视化打下坚实基础。

要实现元数据管理有三个方面:

1、采集:指从各种工具中,把各种类型的元数据采集进来,采集是元数据管理第一步。

2、存储:采集之后需要相应的存储策略来对元数据进行存储,这需要在不改变存储架构的情况下扩展元数据存储的类型;

3、分析:在采集和存储完成后,对已经存储的元数据进行管理分析。

在这里我们主要对元数据管理应用的元数据分析、数据地图功能进行深入了解。

元数据分析

假设有一天,我们需要对某一些业务信息指标做一个报表统计,用于前端的数据展示,这些业务信息可能来自于不同的表,通过不同的ETL过程到目标数据仓库,最后展示在一个报表中,如下图所示:

a、血缘分析

假设你在管理报表,有一天你发现有报表数据异常,你需要找出错误的数据并提交流程修正,那么这个错误数据从何而来?一个个核对数据显然不够高效,那你就得知道这个报表的的指标来源,元数据管理工具的血缘分析功能会自动帮助你分析这个错误数据的上游路径,比如这些数据是由table1和table2经过ETL过程进入DW,那么此时你只需要去查找table1和table2以及相关的ETL过程即可。

血缘分析可以清晰的帮助我们了解到所维护的数据的使用与被使用情况,犹如资产一般,便于维护定位与统一管理。

b、影响分析

数据终于更正了,此时你需要及时提醒大家这个数据的更正信息,只需要通知这个数据影响到的实体就可以了,然而整个报表流程的数据传递这么复杂,怎么判断哪些实体会受到这个数据的影响呢。

元数据管理工具的影响分析功能会分析出这个数据的影响范并能用可视化的方式展现出来,只需要更新受所影响的实体。

c、数据地图展现

随着业务规模的日益扩大,报表日益增多,有一天你想了解这个业务所有报表整体情况,有多少数据源和ETL过程组成,此时元数据管理工具的数据地图可以帮助你获取到想要的信息,数据地图展现功能可以通过可视化的方式,对整个业务的情况了如指掌,帮助你更好地观察整个业务流程的情况。


在当今这个大数据时代下,数据即为资产。数据因需求而成为有价资产,数据多寡即穷富,然而无法挖掘的数据是没有任何的价值,换句话说,如果没有管理好元数据,收集和存储的数据都会失去意义,也就没有业务价值。如何管理好元数据是非常重要的,根据权威数据管理研究机构TDWI对数百家国际企业的调研结果,元数据管理的重要性在全部技术主题中位列第一。通过元数据管理,可以形成系统化数据资产的准确视图,通过对元数据的统一视图,管理由各个业务系统的数据,梳理业务元数据之间的关系,并可以对这些数据进行来源、变迁进行跟踪分析。通过精确把握数据获取数据,从而把数据转为有价资产。


市场上对企业级元数据管理的需求还在不断增长,伴随着需求的增加,企业对数据模型和元数据管理互操作性的标准的关注会明显增加。

对企业技术人员而言,元数据管理平台通过将分散、存储结构差异大的资源信息进行描述、定位、检索、评估、分析,实现了信息的结构化,为机器处理创造了可能,从而大大降低数据治理人工成本。正因如此,元数据已经成为了很多大型数据治理项目的基础。

对企业业务人员而言,元数据管理平台通过对业务指标、业务术语、业务规则、业务含义等业务信息进行管控,协助业务人员了解业务含义、行业术语和规则、业务指标取数据口径和影响范围等。

未来,元数据管理势必将成为数字化转型的核心,也是未来趋势。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 大数据治理——元数据是关键

    大数据治理——元数据是关键

    在大数据时代,当数据以多种格式分散在整个企业中并来自许多来源时,需要一种新的数据治理方法。……查看详情

    发布时间:2018.12.03来源:数据管理浏览量:1次

  • 两会各地人大代表对于大数据都关心什么?

    两会各地人大代表对于大数据都关心什么?

    两会的召开,各地人大代表针对各个领域、行业、产业纷纷提出了许多具有高价值的议题。针对不同地区的情况与发展势态,各地代表对于大数据的运用与……查看详情

    发布时间:2019.03.11来源:大数据浏览量:2次

  • 医疗领域的数据治理

    医疗领域的数据治理

    数据治理将为患者和护理人员实现价值。医疗保健系统和提供者越来越关注使用证据来为临床和运营决策提供信息的需求。这导致他们组装并批判性地评估……查看详情

    发布时间:2018.11.20来源:Lydia Lee浏览量:1次

  • 国内数据治理系统全面介绍

    国内数据治理系统全面介绍

    随着大数据技术的飞速发展,大数据已经融入到了各行各业,为了能让各企业的数据资产得到充分的利用,数据治理非常重要,如今数据治理已经逐渐成为……查看详情

    发布时间:2019.09.19来源:知乎浏览量:2次

  • 采用基于流程的风险管理方法避免运营灾难

    采用基于流程的风险管理方法避免运营灾难

    风险规避和风险管理似乎是决策制定的热门话题 - 而且有充分的理由。风险伴随着潜在的巨大运营,财务,声誉和法律影响,所以尽一切可能对其进行……查看详情

    发布时间:2019.02.15来源:亿信华辰浏览量:3次

  • 为数据管理/数据质量/问题分析提供资金

    为数据管理/数据质量/问题分析提供资金

    大多数具有正式数据治理工作的组织都对正在进行的数据管理工作给予了高度关注,解决了利益相关者之间发生自然冲突和/或数据质量工作时出现的问题……查看详情

    发布时间:2019.03.19来源:亿信华辰浏览量:4次

  • 5可以通过数据治理解决的挑战-使用数据治理克服常见的业务障碍

    5可以通过数据治理解决的挑战-使用数据治理克服常见的业务障碍

    在快速发展的技术,大数据和高级分析的时代,数据治理在每个组织中都发挥着至关重要的作用,无论规模大小或行业如何。从定义元数据管理指南,到解……查看详情

    发布时间:2018.11.13来源:CHRIS REED浏览量:0次

  • 企业数据标准管理的内容

    企业数据标准管理的内容

    笔者理解:数据标准是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换……查看详情

    发布时间:2020.11.13来源:知乎浏览量:2次

  • 数据治理:医院要平衡的4个考虑因素

    数据治理:医院要平衡的4个考虑因素

    电子健康倡议基金会,一个专注于质量和安全改进的医疗保健合作,以及LexisNexis Risk Solutions的医疗保健部门,于8月……查看详情

    发布时间:2018.11.27来源:Jessica Kim Cohen浏览量:2次

  • 数据治理是数据驱动业务的关键

    数据治理是数据驱动业务的关键

    如果数据不能够给企业带来价值,那么收集再多的数据也毫无意义,但如果企业需要在数据中做出创新和创造价值,哪数据治理就显得非常关键。什么是数……查看详情

    发布时间:2019.06.14来源:中培课堂浏览量:1次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议