从元数据角度来认识大数据

什么是元数据？在前面的什么是元数据文章中，我们也提到过，元数据是数据的数据，可以帮助数据平台解决“有哪些数据”、“数据存储有多少”、“数据流中的血缘关系”、“如何找到我需要的数据”、“如何使用数据”和“数据的生产进度”问题。

元数据管理是做什么？

元数据在数据平台对原信息的收集、汇总和传递将数据平台各个模块整合起来。元数据管理系统是收集线上db、solor集群、hbase集群和hive集群的元数据信息，并将其传递给各其他系统。

元数据管理为大数据平台绘制数据地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更及精确到字段级别的影响分析。打通上下游数据继承关系断层，为数据质量维护和业务逻辑可视化打下坚实基础。

要实现元数据管理有三个方面：

1、采集：指从各种工具中，把各种类型的元数据采集进来，采集是元数据管理第一步。

2、存储：采集之后需要相应的存储策略来对元数据进行存储，这需要在不改变存储架构的情况下扩展元数据存储的类型;

3、分析：在采集和存储完成后，对已经存储的元数据进行管理分析。

在这里我们主要对元数据管理应用的元数据分析、数据地图功能进行深入了解。

元数据分析

假设有一天，我们需要对某一些业务信息指标做一个报表统计，用于前端的数据展示，这些业务信息可能来自于不同的表，通过不同的ETL过程到目标数据仓库，最后展示在一个报表中，如下图所示：

a、血缘分析

假设你在管理报表，有一天你发现有报表数据异常，你需要找出错误的数据并提交流程修正，那么这个错误数据从何而来？一个个核对数据显然不够高效，那你就得知道这个报表的的指标来源，元数据管理工具的血缘分析功能会自动帮助你分析这个错误数据的上游路径，比如这些数据是由table1和table2经过ETL过程进入DW，那么此时你只需要去查找table1和table2以及相关的ETL过程即可。

血缘分析可以清晰的帮助我们了解到所维护的数据的使用与被使用情况，犹如资产一般，便于维护定位与统一管理。

b、影响分析

数据终于更正了，此时你需要及时提醒大家这个数据的更正信息，只需要通知这个数据影响到的实体就可以了，然而整个报表流程的数据传递这么复杂，怎么判断哪些实体会受到这个数据的影响呢。

元数据管理工具的影响分析功能会分析出这个数据的影响范并能用可视化的方式展现出来，只需要更新受所影响的实体。

c、数据地图展现

随着业务规模的日益扩大，报表日益增多，有一天你想了解这个业务所有报表整体情况，有多少数据源和ETL过程组成，此时元数据管理工具的数据地图可以帮助你获取到想要的信息，数据地图展现功能可以通过可视化的方式，对整个业务的情况了如指掌，帮助你更好地观察整个业务流程的情况。

在当今这个大数据时代下，数据即为资产。数据因需求而成为有价资产，数据多寡即穷富，然而无法挖掘的数据是没有任何的价值，换句话说，如果没有管理好元数据，收集和存储的数据都会失去意义，也就没有业务价值。如何管理好元数据是非常重要的，根据权威数据管理研究机构TDWI对数百家国际企业的调研结果，元数据管理的重要性在全部技术主题中位列第一。通过元数据管理，可以形成系统化数据资产的准确视图，通过对元数据的统一视图，管理由各个业务系统的数据，梳理业务元数据之间的关系，并可以对这些数据进行来源、变迁进行跟踪分析。通过精确把握数据获取数据，从而把数据转为有价资产。