深入浅出元数据及元数据管理
发布时间:2019.10.24来源:亿信华辰浏览量:94次标签:数据治理
大数据时代下,数据已被公认为一项重要的资产。而元数据管理作为数据管理框架中一项重要的管理职能,也越来越多的出现在大家的视野中。但是对于元数据的概念以及元数据有什么用,非业内人士可能理解的不够清晰。本文将从元数据的概念、元数据管理的作用以及如何做元数据管理这三个方面来介绍一下元数据的基础知识。
什么是元数据
元数据的定义是“关于数据的数据”,但刚接触这个定义,还是不好理解元数据和数据的关系。这里给大家分享一句《DAMA数据管理知识体系指南》中的解释,元数据与数据的关系就像数据与自然界的关系,数据反映了真实世界的交易、事件、对象和关系,而元数据则反映了数据的交易、事件、对象和关系等。简单来说,只要能够用来描述某个数据的,都可以认为是元数据。
举两个例子:
如果将图书馆里面的某一本书当作数据,那么所有用来形容这本书的数据比如书名、书的作者、书的所属类别等都是这本书的元数据。
如果将一部电影看作数据,那么你在该电影海报上看到的所有信息,如电影名、导演、演员、制片人、电影类型等,都可以认为是这部电影的元数据。
对于企业而言,元数据是跟企业所使用的物理数据、业务流程、数据结构等有关的信息,描述了数据(如数据库、数据模型)、概念(如业务流程、应用系统、技术架构)以及它们之间的关系。
元数据管理的作用
理解了元数据的概念后,我们发现元数据有很多、很杂乱,也不知道怎么用,此时我们需要做元数据的管理。元数据管理是指通过计划、实施和控制活动,以实现轻松访问高质量的整合的元数据。
元数据管理到底有什么用?我们还是以前面讲到的图书馆的例子来讲,对图书的元数据管理,其实跟图书馆的目录卡片类似,通过目录卡片可以清楚的查询到图书馆中保存了哪些书、在图书馆的什么位置,目录卡片上面的信息就是图书的元数据,假如没有目录卡片,我们在图书馆里查找书籍将像大海捞针一样困难。
图书馆的目录卡片只是一个很简单的元数据管理,在企业中,元数据管理会更为全面,难度更高,同时也将带来更多的收益:
- 通过元数据管理,将帮助企业人员清晰的看到企业有哪些数据,分别存放在什么位置,同时帮助理清企业的数据字典,快速查询和定位数据;
- 通过对数据的上下文关联信息,提升战略信息(如数据仓库、CRM、SCM等)的价值,从而帮助分析人员做出更有效的决策;
- 通过对数据的上下文背景、历史和起源进行完整的记录并文档化,帮助了解数据的流转流程,从而减少培训成本,降低员工流失的影响;
- 在变更管理过程中的不同层面上进行更好的影响分析,降低项目失败风险;
- 识别并减少冗余数据和流程,减少重复工作和对冗余、过期、不正确数据的试用;
- 为企业的数据治理、数据应用、数据服务打好基础。
如何进行元数据管理
要实现企业元数据管理有两大基本步骤,一是创建和维护元数据,搞清楚要管理哪些元数据以及这些元数据在什么地方,以何种形态存储,他们之间又有着怎样的联系。二是建立元数据的模型(元模型),要抽象出企业的元模型,建立个元模型之间的逻辑关系。
下面以亿信元数据管理平台为例,讲讲如何实现这两大基本步骤:
创建和维护元数据
亿信元数据管理平台内置丰富的采集适配器,通过自动化的采集方式,帮助企业完成数据信息、服务信息与业务信息的采集,自动调取企业内部的元数据。同时,该平台通过多种分析方式帮助企业分析数据流向,具体到字段级的数据解析,如血缘分析、影响分析、关联度分析等,帮助企业获取数据上下游、对象关联对象等等关系,快速定位问题字段,帮助企业降低数据问题的定位难度。
建立元模型
元数据建模是对企业要管理的元数据进行结构化、模型化。元模型的构建要一般要参考公共仓库元模型CWM,但也不能照搬CWM,否则构建的元模型太过臃肿,不够灵活。亿信元数据管理平台中的元模型支持CWM规范的同时,提供了一套便捷的自定义管理接口功能,可完全自定义扩展,能够满足元数据管理快速实施的需要,可适应用户在不同时期的不同管理需要。
小结:元数据管理是企业数据治理的基础。通过元数据管理,可以形成系统化数据资产的准确视图,从而精确把握数据获取数据,把数据转为有价资产。
-
谷歌首席决策科学家:30篇文章通关数据科学与人工智能
谷歌首席决策科学家(Chief Decision Scientis)凯西柯兹科夫(Cassie Kozyrkov)在2018年非常高产,……查看详情发布时间:2019.01.24来源:亿信华辰浏览量:80次
-
数据治理与数据质量有何不同?
当我们听到数据管理这些词时,“ 数据质量 ”和“数据治理” 这两个术语出现了很多,它们应该是因为这些是确保组织以最佳方式利用其信息的重要……查看详情发布时间:2019.06.25来源:知乎浏览量:162次
-
企业如何实现成功的数据治理
如今,大数据正在社会的各行各业发挥着越来越重要的作用,数据已成为企业的核心资产和重要战略资源,是重要的生产因素。但是数据中存在着各种各样……查看详情发布时间:2019.09.09来源:知乎浏览量:102次
-
企业做好数据治理才能更快更好地推进数字化转型
企业做好数据治理才能更快更好地推进数字化转型数据治理之“困”在谈到当前的数据治理之“困”时,主要有四方面:……查看详情发布时间:2019.12.12来源:知乎浏览量:79次
-
数据质量是什么?控制数据质量的三个方法都在这
目前有三种基本方法可以实现真正的数据质量。它们有助于提供可用于收集有用的商业情报和做出正确决策的准确数据。这些开发和维护数据质量的方法都……查看详情发布时间:2021.08.19来源:亿信华辰数据治理知识库浏览量:138次
-
亿信华辰亮相2018智慧校园广州论坛 共探教育数据治理
近20位行业大咖和领导,来自全国451所学校的1386位教育信息化专家、院校领导及企业负责人参与了此次大会,针对服务治理、数据治理、高等……查看详情发布时间:2018.10.15来源:亿信华辰浏览量:70次
-
如何全面解决数据问题?看这里就全知道!
当今的大型企业,内部分工日趋细化,采购、服务、市场、销售、开发、支持、物流、财务、人力等各个环节,无不每时每刻产生着大量的数据。数据的格……查看详情发布时间:2019.09.04来源:知乎浏览量:118次
-
建设大数据平台,从“治理”数据谈起
大数据时代还需要数据治理吗?数据平台发展过程中随处可见的数据问题大数据不是凭空而来,1981年第一个数据仓库诞生,到现在已经有了近40年……查看详情发布时间:2019.01.11来源:亿信华辰浏览量:92次