从元数据角度来认识大数据

发布时间:2020.02.21来源:知乎浏览量:111次标签:数据治理

什么是元数据?在前面的什么是元数据文章中,我们也提到过,元数据是数据的数据,可以帮助数据平台解决“有哪些数据”、“数据存储有多少”、“数据流中的血缘关系”、“如何找到我需要的数据”、“如何使用数据”和“数据的生产进度”问题。



元数据管理是做什么?

元数据在数据平台对原信息的收集、汇总和传递将数据平台各个模块整合起来。元数据管理系统是收集线上db、solor集群、hbase集群和hive集群的元数据信息,并将其传递给各其他系统。

元数据管理为大数据平台绘制数据地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更及精确到字段级别的影响分析。打通上下游数据继承关系断层,为数据质量维护和业务逻辑可视化打下坚实基础。

要实现元数据管理有三个方面:

1、采集:指从各种工具中,把各种类型的元数据采集进来,采集是元数据管理第一步。

2、存储:采集之后需要相应的存储策略来对元数据进行存储,这需要在不改变存储架构的情况下扩展元数据存储的类型;

3、分析:在采集和存储完成后,对已经存储的元数据进行管理分析。

在这里我们主要对元数据管理应用的元数据分析、数据地图功能进行深入了解。

元数据分析

假设有一天,我们需要对某一些业务信息指标做一个报表统计,用于前端的数据展示,这些业务信息可能来自于不同的表,通过不同的ETL过程到目标数据仓库,最后展示在一个报表中,如下图所示:

a、血缘分析

假设你在管理报表,有一天你发现有报表数据异常,你需要找出错误的数据并提交流程修正,那么这个错误数据从何而来?一个个核对数据显然不够高效,那你就得知道这个报表的的指标来源,元数据管理工具的血缘分析功能会自动帮助你分析这个错误数据的上游路径,比如这些数据是由table1和table2经过ETL过程进入DW,那么此时你只需要去查找table1和table2以及相关的ETL过程即可。

血缘分析可以清晰的帮助我们了解到所维护的数据的使用与被使用情况,犹如资产一般,便于维护定位与统一管理。

b、影响分析

数据终于更正了,此时你需要及时提醒大家这个数据的更正信息,只需要通知这个数据影响到的实体就可以了,然而整个报表流程的数据传递这么复杂,怎么判断哪些实体会受到这个数据的影响呢。

元数据管理工具的影响分析功能会分析出这个数据的影响范并能用可视化的方式展现出来,只需要更新受所影响的实体。

c、数据地图展现

随着业务规模的日益扩大,报表日益增多,有一天你想了解这个业务所有报表整体情况,有多少数据源和ETL过程组成,此时元数据管理工具的数据地图可以帮助你获取到想要的信息,数据地图展现功能可以通过可视化的方式,对整个业务的情况了如指掌,帮助你更好地观察整个业务流程的情况。


在当今这个大数据时代下,数据即为资产。数据因需求而成为有价资产,数据多寡即穷富,然而无法挖掘的数据是没有任何的价值,换句话说,如果没有管理好元数据,收集和存储的数据都会失去意义,也就没有业务价值。如何管理好元数据是非常重要的,根据权威数据管理研究机构TDWI对数百家国际企业的调研结果,元数据管理的重要性在全部技术主题中位列第一。通过元数据管理,可以形成系统化数据资产的准确视图,通过对元数据的统一视图,管理由各个业务系统的数据,梳理业务元数据之间的关系,并可以对这些数据进行来源、变迁进行跟踪分析。通过精确把握数据获取数据,从而把数据转为有价资产。


市场上对企业级元数据管理的需求还在不断增长,伴随着需求的增加,企业对数据模型和元数据管理互操作性的标准的关注会明显增加。

对企业技术人员而言,元数据管理平台通过将分散、存储结构差异大的资源信息进行描述、定位、检索、评估、分析,实现了信息的结构化,为机器处理创造了可能,从而大大降低数据治理人工成本。正因如此,元数据已经成为了很多大型数据治理项目的基础。

对企业业务人员而言,元数据管理平台通过对业务指标、业务术语、业务规则、业务含义等业务信息进行管控,协助业务人员了解业务含义、行业术语和规则、业务指标取数据口径和影响范围等。

未来,元数据管理势必将成为数字化转型的核心,也是未来趋势。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据沿袭工具如何促进数据治理策略

    数据沿袭工具如何促进数据治理策略

    企业可以通过跟踪数据更改的方式和时间来加强数据治理工作。专家David Loshin就如何使用数据沿袭产品提供建议。……查看详情

    发布时间:2019.03.26来源:亿信华辰浏览量:136次

  • 数据治理|如何做好数据质量管理

    数据治理|如何做好数据质量管理

    数据质量管理是一个集方法论、管理、技术和业务为一体,对数据在每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列管理过……查看详情

    发布时间:2022.03.18来源:小亿浏览量:332次

  • 数据安全治理的基本思路

    数据安全治理的基本思路

    我们的世界正在进入一个奇怪的分裂状态:一方面人们为大数据时代即将在各个领域发生的革命性进步而激动难眠,另一方面人们也在为数据安全和隐私保……查看详情

    发布时间:2019.06.14来源:数据杂志浏览量:120次

  • 云管理与云治理

    云管理与云治理

    混合云或多云已成为当今组织IT战略的重要组成部分。作为多云战略的一部分,组织需要定义如何在多个云中管理,控制,操作,优化和保护云基础架构……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:165次

  • 数据治理工作的难点主要体现在那些方面?

    数据治理工作的难点主要体现在那些方面?

    由哪个部门主导;人员应该怎样配置;各个数据治理角色的职责分别是什么。这些一定需要明确,一个职责分工明确的团队将更好的推进数据治理工作。建……查看详情

    发布时间:2019.09.18来源:知乎浏览量:139次

  • 数据湖架构 - 最佳实践指南

    数据湖架构 - 最佳实践指南

    实施正确的数据湖架构对于将数据转化为价值至关重要。无论您的数据湖中有多少数据,如果您缺乏有效管理数据、跟踪数据并确保其安全的架构特性,那……查看详情

    发布时间:2021.06.18来源:亿信数据治理知识库浏览量:122次

  • 数据治理2.0:协作数据治理

    数据治理2.0:协作数据治理

    数据治理1.0过于孤立,无法真正有效,因此需要一种新的协作数据治理方法。……查看详情

    发布时间:2019.01.27来源:亿信华辰浏览量:168次

  • 企业大数据的现状与痛点——《企业大数据实践路线》之一

    企业大数据的现状与痛点——《企业大数据实践路线》之一

    内容分类:1、 企业大数据现状及痛点 2、 大数据对企业的促进作用 3、 解析业务数据的特征 4、 典型技术架构的分析和构建……查看详情

    发布时间:2019.02.25来源:亿信华辰浏览量:176次

  • 数据信任是智能城市数据治理的一部分吗?

    数据信任是智能城市数据治理的一部分吗?

    鉴于最近的丑闻,城市别无选择,只能紧急关注数据治理问题。数据信任可以成为解决方案的一部分吗?……查看详情

    发布时间:2019.03.25来源:亿信华辰浏览量:95次

  • 数据滥采滥用已到非治理不可的地步

    数据滥采滥用已到非治理不可的地步

    目前个人数据滥采、滥用、非法采集和使用现象十分严重,严重侵害了个人权益,个人信息保护制度亟待建立!……查看详情

    发布时间:2019.10.17来源:知乎浏览量:241次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议