元数据管理101:什么,为什么以及如何

发布时间:2018.12.19来源:数据治理浏览量:463次标签:数据治理

元数据管理已逐渐成为成功的数字化计划战略的最重要实践之一。随着大数据和云等分布式体系结构的兴起,可以创建孤立的系统和数据,元数据管理对于管理组织中的信息资产至关重要。那么什么是元数据呢?为什么要管理它?

元数据管理有什么作用?

虽然元数据管理有很多定义,但核心功能是使业务用户能够在基于Web的用户界面中搜索和识别关键属性的信息。

可搜索的键属性的示例可以是客户ID或成员名称。通过适当的元数据管理系统,业务用户将能够了解该属性的数据来自何处以及如何计算属性中的数据。他们将能够可视化组织中哪些企业系统使用的属性(Lineage),并且能够理解将某些内容(影响分析)更改为属性(例如属性长度)对其他系统的影响。

技术用户还需要元数据管理。通过将业务元数据与技术元数据相结合,技术用户还可以找出使用哪个ETL作业或数据库进程将数据加载到属性中。诸如数据仓库负载中的控制表之类的操作元数据也可以组合到该集成元数据模型中。这是最终用户触手可及的强大信息。元数据管理的最终结果可以是公司关键属性的元数据的另一个“数据库”的形式。此类数据库的行业术语称为数据目录,或词汇表或数据清单。

元数据管理如何运作?

元数据管理只是整体数据治理计划的一项举措,但这是处理“元数据”的唯一举措。主数据管理(MDM)或数据质量(DQ)等其他计划处理存储在各种系统中的实际“数据”。元数据管理在企业级集成元数据存储。

像Talend Metadata Manager这样的工具提供了一种自动解析和加载不同类型元数据的方法。该工具还可以基于从不同系统生成的元数据构建企业模型,例如数据仓库,数据集成工具,数据建模工具等。

用户将能够基于例如属性名称和类型来解决冲突。您还可以创建自定义元数据类型,以在两个系统之间“缝合”元数据。完全构建的元数据管理模型可以360度全方位地了解组织中不同系统的连接方式。此模型可以作为任何新数据治理计划的起点。数据建模器现在将有一个位置来查找特定属性并在其自己的数据模型中使用它。这个模型也是我们在前面部分讨论过的“数据库”的基础。与任何其他数据治理计划一样,随着各个系统中的元数据发生变化,模型需要根据SDLC方法进行更新,其中包括版本控制,工作流程和批准。


为什么我们需要管理元数据?

基本的答案是,信任。如果在系统生命周期内未管理元数据,则组织中将创建不一致元数据的孤岛,这些孤岛不满足任何团队的全部需求并提供冲突信息。用户不知道他们需要多少信任数据,因为他们不是元数据来指示数据如何以及何时到达系统以及应用了哪些业务规则。

还需要考虑成本。如果没有有效地管理元数据,每个开发项目都必须通过定义数据需求来增加成本和降低效率。为用户提供了许多创建冗余和超额成本的工具和技术,并且由于他们所寻找的数据不可用而无法提供全部投资价值。数据定义在多个系统中重复,从而带来更高的存储成本。

随着业务的成熟和越来越多的系统被添加,他们需要考虑如何管理元数据(而不仅仅是数据)。管理元数据为业务和技术用户以及整个组织带来了明显的好处。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 可量身定制的数据治理平台

    可量身定制的数据治理平台

    在大数据浪潮下,大数据平台建设如火如荼,大数据平台建设本质上是数据的建设。由于数据量逐渐庞大导致的一系列问题,使很多用户意识到数据治理的……查看详情

    发布时间:2019.11.22来源:CSDN浏览量:566次

  •  数据治理目标是什么?数据治理框架包括哪些方面?

    数据治理目标是什么?数据治理框架包括哪些方面?

    ​数据治理涵盖了数据质量、数据建模和架构、数据存储、数据操作、商业智能、数据沿袭、文档、数据集成和数据安全等.制定数据治理计划前我们需要……查看详情

    发布时间:2021.07.22来源:亿信华辰数据治理浏览量:926次

  • 数据质量评估体系主要参考以下5个指标

    数据质量评估体系主要参考以下5个指标

    数据质量评估体系主要参考以下指标:,针对不同的信息系统做出定量的数据质量评估,也可根据实际情况,在评估执行中进行取舍。……查看详情

    发布时间:2019.11.07来源:知乎浏览量:727次

  • 一文透露银行业的数据治理该不该做,又怎么做?

    一文透露银行业的数据治理该不该做,又怎么做?

    小宋最近同学会,一个大学同学就职银行信息科技部门,听说小宋也在一家大数据公司便拉起小宋的手要和她好好掰扯掰扯一下银行业的数据治理了。银行……查看详情

    发布时间:2020.07.29来源:今日头条浏览量:584次

  • 使用知识图技术实现数据治理2.0

    使用知识图技术实现数据治理2.0

    当您使用Google,从Netflix挑选电影,与Siri或Alexa交谈,或在Facebook上寻找您的侄子时,您将从知识图谱技术中受……查看详情

    发布时间:2019.02.21来源:亿信华辰浏览量:533次

  • 什么是主数据管理系统?

    什么是主数据管理系统?

    采集与集成、共享、数据质量、数据治理是主数据管理的四大要素,主数据管理要做的就是从企业外部和企业的多个业务系统中采集和整合最核心的、最需……查看详情

    发布时间:2020.04.29来源:知乎浏览量:464次

  • 企业的数据标准管理包括什么?

    企业的数据标准管理包括什么?

    数据标准(Data Standards)是保障数据的内外部使用和交换的一致性和准确性的规范性约束。数据标准管理是规范数据标准的制定和实施……查看详情

    发布时间:2020.05.08来源:知乎浏览量:446次

  • 如何正确理解数据治理

    如何正确理解数据治理

    我们经常会谈到关于大数据、数据质量、主数据、元数据方面的一些问题,不可避免的会提到数据治理,那么什么是数据治理呢?……查看详情

    发布时间:2020.07.15来源:知乎浏览量:415次

  • 数据治理的六大优势

    数据治理的六大优势

    重要的是,我们认识到数据治理(DG)的优势超出了通用数据保护法规(GDPR)的要求。……查看详情

    发布时间:2019.01.26来源:亿信华辰浏览量:542次

  • 数据安全—“无悔”的正确步骤

    数据安全—“无悔”的正确步骤

    谈到数据安全性,你必定不希望有遗憾。我们从马克扎克伯格那里知道了数据安全正在成为互联网公司的头等大事。正如我们知道的,这位首席执行官正处……查看详情

    发布时间:2019.06.19来源:知乎浏览量:553次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议