谈谈数据治理是什么?

发布时间:2021.03.06来源:人人都是产品经理浏览量:112次标签:数据治理

数据治理这项工作一直都是存在的,和数据库设计的三范式一样都是为了数据的管理。数据治理是一整套完整的组织、制度、技术管理行为。

我们可以将大数据治理定义:大数据治是广义信息化治理计划的一部分,即制定与大数据有关的管理优化、数据保护、数据变现的政策。

它的发起背景多数是由于公司战略政策和业务日益变大的数据需求和要求所产生的。我所在的公司,当业务经历粗放式增长后,原有的模式已不能带动业务的增长,需要通过数据手段赋能新的业务增长点。因此业务对数据提出了准确性、及时性等要求,原有业务采集一个需求需要4天时间已经不能满足业务,从而产生了数据治理项目的启动。

说了数据治理产生的背景,我再来谈下数据治理的对象。它包括数据、开发流程、管理流程、制度、组织。我认为只要和目标相关联的,都可以算作治理的对象,数据治理就是将关联方通过一套完整的管理行为,形成有序的工作以达成目标。

数据治理框架:


下面主要是介绍范围这块:

数据治理项目的范围

数据治理项目的范围通常都会包含:组织建设、数据安全、数据开发、数据质量、元数据管理、数据价值等几个模块。当然基于每家公司的数据治理的目标不一样,每家公司的数据治理实施关键路径也会不一样。我所在的公司数据治理的目标是为方便业务快速掌握了解数据、公开透明数据资产的动态,所以把数据价值、元数据管理、数据质量做为了实施关键路径。

元数据管理

元数据从数据的角度可以分为三类:业务元数据、技术元数据和管理元数据。
业务元数据是从业务的视角去描述数据,让不懂数据的人可以快速读懂数据,例如:表名称、表的血缘关系、表的字段说明、指标的统计口径等多种业务描述;
技术元数据自然就是从技术的角度去描述数据,例如:表的sql、字段长度、字段类型等多种技术描述;
管理元数据是包含数据管理的信息在里面,例如:表的业务属主、表的技术负责人。
元数据的管理通常包含:血缘分析、数据生命周期。
血缘分析:对元数据的上下游进行分析,我的公司按照数据存储的数据库将血缘分析分为了两类:
存在Hadoop平台的血缘分析,可用通过脚本解析出到字段级的上下游关系;
建表有主外键的,可通过主外键建立血缘关系。
数据生命周期:数据都存在生命周期,当元数据访问量变低,数据价值不存在的时候,可将它下线清除,释放存储空间。

数据安全
数据安全主要是对数据的安全脱敏管控和安全检查,脱敏机制有两种方案:

1)在数据仓库的接入和输出进行脱敏管控:数据接入识别敏感信息,通过脱敏工具进行脱敏处理,产生脱敏表和敏感表两张表(脱敏表与敏感表之间要有映射关系),敏感数据不对中间层开放,对于数仓中间层则只有脱敏表,开发和测试的时候也只能使用脱敏表,在数据输出层,首先应用层的开发先对敏感数据进行申请,申请通过后得到敏感表的使用权,开发通过映射关系将敏感表的脱敏数据进行关联处理。

这种方案的好处:安全易管控,脱敏过程少,但会增加开发的工作量。

2)针对用户进行脱敏管理,数据仓库的每一层都需要对敏感数据进行脱敏处理,对于敏感数据申请权限的用户可以查看敏感信息,没有权限的用户只能查看脱敏表。这种脱敏机制好处在于对开发没什么影响,但加大安全管理的复杂度,需要全域扫描敏感信息,脱敏工作大。

数据质量

数据质量的提升通常包含以下几个方面:
1)数据质量评估,提供数据质量评估能力,如数据一致性、完整性、正确性、合规性、及时性等,对数据进行全面检查;
2)数据质量检查,提供可配置化的检查规则,通过脚本定时调度执行;
3)数据质量监控,提供报警规则,根据配置检查规则的阀值,对超出阀值的进行不同程级的告警和通知;
4)问题处理机制,对数据问题按照流程进行处理,规范问题处理机制和步骤,强化问题认证,提高数据质量;
5)根据血缘关系和业务场景锁定高价值数据,进行高安全级别管控,避免数据出错。

数据价值
数据治理最重要的产出物,通过数据治理能为业务带来的业务价值。如我所在的公司,数据价值体现在数据资产可视化。对于不同看数据角色定义不同的价值,对于数据业务分析人员,通过数据标准化管理和平台搭建,让不懂数据的业务能够快速掌握数据,并可以自己进行数据挖掘、数据分析等工作。

对于高层领导,将公司的业务数据以报告的形式,让领导快速了解数据的成本及分布情况。当然不同的公司侧重的价值会不一样,数据治理同时也能有效的控制数据成本,减少因为数据带来的摩擦,提升数据质量和安全。

数据开发
对数据开发进行标准的流程管理是数据治理核心的一部分,首先根据公司实际情况分析、制定可落地的数据开发管理规范。过于复杂的数据开发规范维护成本高,同时也加重开发工作量,导致难以执行。过于简单的规范又无法很好的管理开发流程。最主要的还是定制完规范后拉各关联方进行评审,大家对可落地,可管理的角度是评估规范。

当规范制定好后,就是按照规范进行落地执行。通常数据开发规范包含:数据建模、数据设计、数据项目部署和实施。

数据建模是一种分析和设计方法,用于:
定义和分析数据需求;
设计满足需求的数据结构。
数据设计是做表的关联影响分析,数据上游于哪些表, 根据数据开发规范对表的命名和结构进行设计。数据项目部署和实施主要是发布管理,就不做解释了。

组织建设
数据组织是保障数据治理能够长期有效的重要手段之一,通常数据组织都是可以跨职责的,组织的职能和分类如下:
1)数据治理委员会,在公司内部拥有数据的最高决策权,代表了企业的高层视角
2)数据管理指导委员会,为数据委员会提供支持,针对一些具体数据管理措施起草相关政策和标准,提供委员会评审和批准
3)数据管理制度团队,在某个业务领域内,协助完成数据制度管理的数据管理专员小组,数据管理制度团队来着不同的部门和跨业务领域的数据专家


了解更多关于数据治理解读,可以查看下面的文章:

1.2句话告诉你什么是数据治理

2.什么是数据治理?政务数据治理与数据治理有什么不同?

3.什么是数据治理?为何数据治理如此重要?

4.数据治理的定义:什么是数据治理?

5.什么是数据治理以及数据治理架构


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 使用数据治理克服常见的业务障碍

    使用数据治理克服常见的业务障碍

    在快速发展的技术,大数据和高级分析的时代,数据治理在每个组织中都发挥着至关重要的作用,无论规模大小或行业如何。从定义元数据管理指南,到解……查看详情

    发布时间:2019.01.08来源:亿信华辰浏览量:95次

  • 在抗灾中积累治理“大数据”

    在抗灾中积累治理“大数据”

    每一次应对灾害,无论是经验还是教训,都会构成全国其他地方“诊治”灾害的“大数据”参考……查看详情

    发布时间:2018.09.25来源:人民日报浏览量:68次

  • 企业数据治理中的应对

    企业数据治理中的应对

    首先,数据治理的核心认识是,数据治理是一个持续并且长久的一个过程,不同的产品可以解决比如采集、传输等数据治理层面上的不同问题,但并不存在……查看详情

    发布时间:2019.11.01来源:知乎浏览量:101次

  • 企业数字化转型如何进行数据资源规划?

    企业数字化转型如何进行数据资源规划?

    企业主数据管理,就是将企业的多个业务系统中整合最核心的、最需要共享的数据(主数据),集中进行数据的清洗和丰富,并且以服务的方式把统一的、……查看详情

    发布时间:2020.04.03来源:知乎浏览量:90次

  • 物联网中的安全与数据治理到底怎么做?

    物联网中的安全与数据治理到底怎么做?

    如果企业和公共部门机构要启动成功的物联网项目,确保物联网系统和智能设备的用户保持安全,这要求他们的数据受到保护和谨慎管理至关重要。用户的……查看详情

    发布时间:2019.06.21来源:知乎浏览量:67次

  • 通过数据治理策略推动业务转型

    通过数据治理策略推动业务转型

    围绕数据制定战略是成功实现数字化转型的关键。除了流行语 - 组织需要了解他们试图通过数字化转型实现什么,以及它如何在行业和竞争优势中发挥……查看详情

    发布时间:2019.02.27来源:亿信华辰浏览量:76次

  • 言简意赅带你探究大数据治理的真面目

    言简意赅带你探究大数据治理的真面目

    在“十四五”规划和2035远景目标中,治理一词共出现了119次,这一数字是惊人的。数据治理已然成为整个社会转型的重要赛道,数字经济时代下……查看详情

    发布时间:2022.01.23来源:小亿浏览量:107次

  • 大型企业数据治理的现状和解决方案

    大型企业数据治理的现状和解决方案

    在大数据时代,数据治理是所有的拥有大量数据的公司的巨大的挑战。没有数据,企业缺乏用于做决策的数据的支持。可是有了越来越多的数据,很多情况……查看详情

    发布时间:2020.03.24来源:知乎浏览量:78次

  • 大数据和BI商业智能有何区别?有何相关?

    大数据和BI商业智能有何区别?有何相关?

    BI(BusinessIntelligence)即商业智能,它是企业数据化管理的一整套的方案,用来将企业中现有的数据进行有效的整合,快速……查看详情

    发布时间:2019.01.08来源:亿信华辰浏览量:81次

  • 政务数据交换共享解决方案:打破数据孤岛 让数据成为资产

    政务数据交换共享解决方案:打破数据孤岛 让数据成为资产

    据统计,政府拥有全社会80%的数据资源,通过运用大数据、云计算等现代信息技术,形成“用数据决策、用数据管理、用数据服务”的公共管理与服务……查看详情

    发布时间:2020.12.03来源:知乎浏览量:111次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议