大数据治理背景现状以及策略

发布时间:2018.12.07来源:物联网世界浏览量:209次标签:数据治理

1数据治理的背景和现状

1.1数据治理背景

随着网络和信息技术的不断普及,人类产生的数据量正在呈指数级增长。大约每两年翻一番,根据监测,这个速度在2020 年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。

大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长。信息数据的单位由TB-PB-EB-ZB的级别暴增。这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴。如何管理和使用这些数据,逐渐成为一个新的领域,于是大数据的概念应运而生。

数据治理背景图  

图1 数据治理背景图

1.2数据治理现状

大数据的快速发展,使它成为IT领域的又一大新兴产业。据中央财经大学中国经济管理研究院博士张永力估算,国外大数据行业约有1000亿美元的市场,而且每年都以10%的速度在增长,增速是软件行业的两倍。我国2012年大数据市场规模大约4.7亿元,2013年增速将达到138%,达到11.2亿元,产业发展潜力非常巨大。我国大数据飞速发展的背后存在诸多的问题:相关利益交织,协调难;方案规划容易,落地困难;过度依赖技术工具;对于数据没有明确区分。

数据现状分析图 

图2 数据现状分析图

2数据治理策略

2.1数据治理要素

数据治理要素分析图  

图3 数据治理要素分析图

2.2数据治理策略

第一步:落实合适的人员负责治理。

任何成功的数据治理计划的第一个步骤就是,要在本企业找到CEO可以授权的人,然后让该人负责项目的具体实施。没有什么能取代强有力的领导人。

数据治理是涉及人事的一个难题,这需要在许多不同的利益相关者之间达成共识。因而,在本企业里面选定这样的领导人是一项重要工作。治理官员一旦选定下来,就要成立由企业的利益相关者组成的治理委员会,制订监管政策、向CEO及董事会报告进度。

第二步:调查清楚所处环境。

一旦选定了领导小组,就要调查当前情形,并清查不同部门在不同领域的当前最佳实践。领导小组需要越过独立系统看待问题,而企业数据治理评估方法对这项工作来说必不可少。这有助于比较本企业的数据治理计划目前处于什么状态,并且提供了一份路线图以便确定以后的目标。

第三步:制订数据治理策略。

数据治理评估之后,治理委员会就应当考虑制订远景,希望公司的数据治理实践在接下来的几年达到何种目标,根据这种需求为未来制订远景。委员会应当向后规划,并且制订切合实际的里程碑和项目计划来填补相关的缺口。具体办法就是制订关键绩效指标来跟踪进度,并且向CEO和董事会提交年度报告来证实成果。

第四步:算出数据价值。

估算数据价值。要是公司不知道数据的价值,它们就无法提高、保护或者评估数据对账本底线的价值。数据不是一种普通商品,而是像水龙头里出来的水--对生命至关重要,又往往被人们认为是理所当然的。你要是不知道某物的价格,就无法算出它的价值。

如果你想算出数据的价值,就要根据用户权限和IT服务的效用,为数据建立内部市场。当本企业的每个人都在直接付费获取IT服务和数据时,数据的价值就成了公司价目表上的一部分。

第五步:算出风险概率。

知道数据在过去是如何使用和滥用的,这有助于了解数据在将来会如何被危及和披露。每家企业都有一些原因,如一些事件和损失在独立系统、层次体系和商业报告中消失。这些数据已经可供使用,却没有被大多数企业所使用。收集这些数据,与其意义联系起来,并研究长期的损失趋势,这可以帮助任何企业把风险管理转变成基于事实的商业智能方法,从而可分析过去事件,预测未来损失,改变当前的政策要求,成为未来改善风险缓解策略。

第六步:密切关注控制措施的效果。

数据治理在很大程度上涉及企业的组织行为。企业每天在变化,因而它们的数据、价值及风险也在迅速变化。遗憾的是,大多数企业每年对自己只评估一次。要是公司无法改变组织控制措施来满足每天或者每周出现的需求,也就谈不上变化治理。

数据治理 

图4 数据治理实施建议图

3元数据管理

3.1元数据的定义

技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使用的数据,它主要包括以下信息:数据仓库结构的描述,包括仓库模式、视图、维、层次结构和导出数据的定义,以及数据集市的位置和内容;业务系统、数据仓库和数据集市的体系结构和模式;

业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统之间的语义层,使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息:使用者的业务术语所表达的数据模型、对象名和属性名;访问数据的原则和数据的来源;系统所提供的分析方法以及公式和报表的信息;具体包括以下信息:企业概念模型:这是业务元数据所应提供的重要的信息,它表示企业数据模型的高层信息、整个企业的业务概念和相互关系。

3.2为什么要进行元数据管理

数据管理分析图 

图5 数据管理分析图

3.3数据模型标准化

数据模型示意图 

图6 数据模型示意图

3.4标准化体系(数据定义&模型设计)

标准化体系:一定范围内的标准按其内在联系形成的科学的有机整体。标准化体系它规定了质量方针、目标、职责和程序,并通过建立相关体系进行过程管理、质量策划、质量控制、质量保证和质量改进。

标准化体系示意图 

图7 标准化体系示意图

4主数据

4.1主数据的定义

企业主数据分散存储在企业各系统内,是对企业至关重要的核心业务实体的数据,比如客户、合作伙伴、员工等。

4.2为什么要作主数据管理

主数据管理(MDM Master Data Management)描述了一组规程、技术和解决方案,这些规程、技术和解决方案用于为所有利益相关方(如用户、应用程序、数据仓库、流程以及贸易伙伴)创建并维护业务数据的一致性、完整性、相关性和精确性。

主数据管理的关键就是“管理”。主数据管理不会创建新的数据或新的数据纵向结构。相反,它提供了一种方法,使企业能够有效地管理存储在分布系统中的数据。主数据管理使用现有的系统,它从这些系统中获取最新信息,并提供了先进的技术和流程,用于自动、准确、及时地分发和分析整个企业中的数据,并对数据进行验证。

数据管理原因分析图 

图8 数据管理原因分析图

4.3如何做好主数据管理

通过单一平台上成熟的多领域MDM集中主数据的管理,从而消除点对点集成,简化您的结构,降低维护成本,改进数据治理。Informatica MDM(主数据管理)能够通过以下步骤帮助企业成功进行多领域主数据管理:

1. 建模:用灵活的数据模型定义任意类型的主数据

2. 识别:快速匹配和准确识别重复项目

3. 解决:合并以创建可靠、唯一的真实来源

4. 联系:揭示各类主数据之间的关系

5. 治理:创建、使用、管理和监控主数据

4.4主数据实施流程

数据管理实施流程图 

图9 数据管理实施流程图

4.5主数据管理体系

主数据管理 

图10 主数据管理体系流程图

5数据质量管理

5.1数据质量问题

·数据的值域

·数据的定义

·数据的完整性

·数据的有效性

·业务规则

·结构完整性

·数据转换

·数据流

5.2组织架构设计

架构分析图 

图11 架构分析图

5.3数据质量治理流程

数据质量治理流程图 

图12 数据质量治理流程图

5.4数据治理管理方法

建立合理的数据管理机构、制定数据质量管理机制、落实人员执行责任、保障组织间高效的沟通、持续监控数据应用过程和领导强有力的督促是保障企业数据质量的关键。

策略与方法分析图  

图13 策略与方法分析图


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 10个顶级元数据管理工具

    10个顶级元数据管理工具

    元数据管理解决方案监控整个生命周期中的数据,包括数据分析,数据价值,数据治理以及风险和合规性。……查看详情

    发布时间:2019.07.11来源:头条浏览量:319次

  • 加强数据治理-浅析企业数据治理机制

    加强数据治理-浅析企业数据治理机制

    数据治理是对企业数据资产管理行使权力和控制的活动集合(规划、监控和执行),是建立企业数据管理制度、指导企业执行数据规划、数据环境建设、数……查看详情

    发布时间:2018.12.07来源:浏览量:142次

  • 克服数据管理成功的最大障碍

    克服数据管理成功的最大障碍

    随着数据治理的重要性不断提升,数据管理员可能成为您组织的无名英雄。你在做什么来支持他们?……查看详情

    发布时间:2019.03.25来源:亿信华辰浏览量:105次

  • 做好数据治理,助力政府治理体系和治理能力现代化

    做好数据治理,助力政府治理体系和治理能力现代化

    当前,数据及其技术的融合应用在政府经济调节、市场监管、社会管理、公共服务、生态环境保护等各项工作中强劲助攻、潜力无限。但由于数据是新型生……查看详情

    发布时间:2020.06.22来源:知乎浏览量:89次

  • 数据治理要处理好四个关系

    数据治理要处理好四个关系

    随着我国大数据战略的不断推进,各类生产生活行为都以数据的形式全景留痕,构建了一个与现实空间平行的“数据空间”,数据治理呼之欲出。要切实发……查看详情

    发布时间:2020.04.02来源:知乎浏览量:116次

  • 企业数据治理需要的能力

    企业数据治理需要的能力

    数据治理必然带来新的标准的确立和旧系统的改造,是一个有破有立、无破不立的过程。这一过程设计大量的跨部门、跨条线、跨系统的沟通协调,同时也……查看详情

    发布时间:2021.09.06来源:亿信华辰浏览量:138次

  • 大数据如何成为了驱动社会治理的创新转向?

    大数据如何成为了驱动社会治理的创新转向?

    大数据、智能化、移动互联、云计算成为了驱动经济发展和社会转型的重要力量,“用数据说话、用数据决策、用数据管理、用数据创新”成为了公共管理……查看详情

    发布时间:2018.09.30来源:中新界面浏览量:111次

  • 通往更安全,更好数据的途径

    通往更安全,更好数据的途径

    企业在建立监督数据运营的理事会时面临的最大问题之一是原始事实和数据很少为分析做好准备。……查看详情

    发布时间:2019.04.03来源:亿信华辰浏览量:83次

  • 数据治理的挑战——GDPR(通用数据保护条例)

    数据治理的挑战——GDPR(通用数据保护条例)

    健全的数据治理方案是目前企业的最佳发展策略。而GDPR是客户信任并遵守当地以及国际法律的核心。……查看详情

    发布时间:2018.11.16来源:盖斯扎普浏览量:107次

  • 中小行纷纷设立数据治理专营部门

    中小行纷纷设立数据治理专营部门

    “数据治理基础建设缺失、人才匮乏、意识觉醒较晚。”一名来参加今日第三届中国数字银行论坛的西部中小银行人士,用了三个并列短句,来形容目前中……查看详情

    发布时间:2019.11.29来源:CSDN浏览量:107次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议