从元数据角度来认识大数据
发布时间:2020.02.21来源:知乎浏览量:73次标签:数据治理
什么是元数据?在前面的什么是元数据文章中,我们也提到过,元数据是数据的数据,可以帮助数据平台解决“有哪些数据”、“数据存储有多少”、“数据流中的血缘关系”、“如何找到我需要的数据”、“如何使用数据”和“数据的生产进度”问题。
元数据管理是做什么?
元数据在数据平台对原信息的收集、汇总和传递将数据平台各个模块整合起来。元数据管理系统是收集线上db、solor集群、hbase集群和hive集群的元数据信息,并将其传递给各其他系统。
元数据管理为大数据平台绘制数据地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更及精确到字段级别的影响分析。打通上下游数据继承关系断层,为数据质量维护和业务逻辑可视化打下坚实基础。
要实现元数据管理有三个方面:
1、采集:指从各种工具中,把各种类型的元数据采集进来,采集是元数据管理第一步。
2、存储:采集之后需要相应的存储策略来对元数据进行存储,这需要在不改变存储架构的情况下扩展元数据存储的类型;
3、分析:在采集和存储完成后,对已经存储的元数据进行管理分析。
在这里我们主要对元数据管理应用的元数据分析、数据地图功能进行深入了解。
元数据分析
假设有一天,我们需要对某一些业务信息指标做一个报表统计,用于前端的数据展示,这些业务信息可能来自于不同的表,通过不同的ETL过程到目标数据仓库,最后展示在一个报表中,如下图所示:
a、血缘分析
假设你在管理报表,有一天你发现有报表数据异常,你需要找出错误的数据并提交流程修正,那么这个错误数据从何而来?一个个核对数据显然不够高效,那你就得知道这个报表的的指标来源,元数据管理工具的血缘分析功能会自动帮助你分析这个错误数据的上游路径,比如这些数据是由table1和table2经过ETL过程进入DW,那么此时你只需要去查找table1和table2以及相关的ETL过程即可。
血缘分析可以清晰的帮助我们了解到所维护的数据的使用与被使用情况,犹如资产一般,便于维护定位与统一管理。
b、影响分析
数据终于更正了,此时你需要及时提醒大家这个数据的更正信息,只需要通知这个数据影响到的实体就可以了,然而整个报表流程的数据传递这么复杂,怎么判断哪些实体会受到这个数据的影响呢。
元数据管理工具的影响分析功能会分析出这个数据的影响范并能用可视化的方式展现出来,只需要更新受所影响的实体。
c、数据地图展现
随着业务规模的日益扩大,报表日益增多,有一天你想了解这个业务所有报表整体情况,有多少数据源和ETL过程组成,此时元数据管理工具的数据地图可以帮助你获取到想要的信息,数据地图展现功能可以通过可视化的方式,对整个业务的情况了如指掌,帮助你更好地观察整个业务流程的情况。
在当今这个大数据时代下,数据即为资产。数据因需求而成为有价资产,数据多寡即穷富,然而无法挖掘的数据是没有任何的价值,换句话说,如果没有管理好元数据,收集和存储的数据都会失去意义,也就没有业务价值。如何管理好元数据是非常重要的,根据权威数据管理研究机构TDWI对数百家国际企业的调研结果,元数据管理的重要性在全部技术主题中位列第一。通过元数据管理,可以形成系统化数据资产的准确视图,通过对元数据的统一视图,管理由各个业务系统的数据,梳理业务元数据之间的关系,并可以对这些数据进行来源、变迁进行跟踪分析。通过精确把握数据获取数据,从而把数据转为有价资产。
-
数据治理之道是什么,要怎么做?
数据治理需要体系建设:为发挥数据价值需要满足三个要素:合理的平台架构、完善的治理服务、体系化的运营手段。……查看详情发布时间:2021.05.14来源:亿信数据治理知识库浏览量:73次
-
数据治理准备的五大支柱:倡议赞助
“Facebook是全球数据治理的核心。”3月19日“华尔街日报”的一篇文章总结了我们所处的位置。在通用数据保护法规(GDPR)生效仅两……查看详情发布时间:2019.01.24来源:亿信华辰浏览量:75次
-
制定数据治理行动路线和计划
路线图是使用特定技术方案帮助达到短期或者长期目标的计划,用于新产品、项目或技术领域的开发,是指应用简洁的图形、表格、文字等形式描述技术变……查看详情发布时间:2020.07.17来源:知乎浏览量:79次
-
实施数据治理 - 学到3个主要经验教训
尽管数据治理在开发过程中可能会有些流动和迭代,但遵循最佳实践并设计精心定位的路线图有助于确保成功。……查看详情发布时间:2018.12.21来源:亿信华辰浏览量:90次
-
数据质量稳定提升方法:使用反馈循环
每个额外的数据源都给流程增加了更多的复杂性,并且至少在短期内,在流程自动化之前消耗了额外的时间。现在是时候这些数据专业人员可以专门回答业……查看详情发布时间:2021.04.23来源:亿信数据治理知识库浏览量:96次
-
数据质量是什么,企业数据质量分析怎么做?
现在大数据时代,数据充斥于我们的生活、工作、学习中。随着数据增加的来源和速度越来越多、越来越快,企业纷纷在努力的解决出现的这些问题,以及……查看详情发布时间:2019.09.26来源:数据分析网浏览量:56次
-
管理「政府数据资产」该怎么做
政府数据资产,是指由政务服务实施机构建设、管理、使用的各类业务应用系统,以及利用业务应用系统依法依规直接或间接采集、产生并管理的,具有经……查看详情发布时间:2020.07.17来源:CSDN浏览量:97次