数据治理-从理论到实践(一)

发布时间:2019.08.07来源:CSDN浏览量:603次标签:数据治理

大数据治理范围
一、背景概述
1.数据治理
由于切入点和侧重点,业内给予了不同的见解。
广泛认可标准:DMBOK、COBIT 5、DGI、和IBM数据治理委员会的定义。
明确数据治理的目标
理解数据治理的职能
把握数据治理的核心
数据治理遵循过程和规范
数据治理的本质:

数据治理不是一门技术,而是逻辑性很强的理论型学科。
1.1大数据治理
Sunil Soares
(1).大数据治理的工作就是制定策略
(2).大数据必须被商业化
从四个方面理解含义
(1).领域
(2).角色
(3).各角色如何参与
(4).大数据治理最终目标:决策
1.2 大数据治理框架

大数据治理范围

大数据质量:大数据质量分析、问题追踪和合规性监控。
大数据生命周期:数据的采集、存储、整合、呈现和展示、分析和应用、归档与销毁的流程。
大数据架构:大数据基础资源层、大数据管理与分析层、大数据应用与服务层。
 
1.3 大数据架构
1.31 系统架构
分层原则(表现、数据、业务)
模块化原则
设计模式和框架的应用
1.32 数据架构
数据模型 (数据架构核心框架模型)
数据的价值链分析 (业务流程及组件相一致的价值分析)
数据交付与实现架构 (数据库架构、数仓、文档和内容架构,以及元数据架构)
1.33 大数据架构
数据处理中的元数据、主数据、数据仓库、数据接口技术。
数据采集、存储、分析和应用功能过程的虚拟化技术,分布式文件,非关系型数据库,数据资源管理技术
面向数据挖掘、预测、决策的大数据分析和可视化技术等。
1.34大数据架构参考模型

基础设施:商用服务器、可结合云计算虚拟化(比如私有云openstack)
非关系数据库nosql:类表结构数据库、 文档数据库、图数据库和键-值存储。
资源管理:一是虚拟化。二是基于Yarn或Mesos的资源管理层。
2.大数据管理与分析层
包含:元数据、主数据、数据仓库、大数据分析等。
2.1 元数据
关于数据的组织、数据域及其关系的信息。(数据的数据,类元注解这类的解释)
重点:元数据的管理。
元数据标准:行业标准和国际标准
行业标准:OMG标准、W3C标准,空间地理标准,非结构化数据的元数据标准,面向领域的元数据标准。
国际元数据标准:ISO/IEC11179
2.2 数据仓库
2.21 定义:
面向主题的、集成的、随时间变化的、相对稳定的(不可更新是历史数据的快照)、支持决策制定过程的数据集合。
2.22 主要功能:
主要有数据采集、数据存储与管理、以及结构化数据、非结构化数据以及实时数据管理等功能。
问:传统数据库有数据管理么?
答:有的,传统数仓管理中,DMBS是主流、大数据体系中,基于分布式文件的存储(hdfs或其他的如淘宝、腾讯等自研的)是主流
元数据机制主要支持以下几类功能。
(1)描述数据在哪个数仓中。
(2)定义入仓和出仓的数据。
(3)记录业务事件发生而抽取的时间安排。
(4)记录并检测系统数据一致性的要求和执行情况。
2.23 主数据
Mater Data指的是各个系统间要共享的数据。比如将人员组织关系数据标准化,统一管理。
构建在ETL之上、因此很多主数据管理平台包含(数据抽取、数据加载、数据转换、数据质量管理、数据复制和数据同步等功能)。
2.24 大数据分析
智能决策支持系统DSS
2.3 大数据应用与服务层
传统接口:JDBC、ODBC、WEB接口
3.大数据架构的实现
基于hadoop的基础架构

 

ETL数据:低质量数据、无关数据。
Elect抽取数据-->从数据库中抽取
了解数据结构、字段含义(对文档、定需求)-->数据质量分析报告。
(1)抽取模式(数据平台通过一定的工具实现抽取,系统变更后导致失败,源系统不对数据质量负责,源系统的性能降低问题)(2)供数模式(源系统抽取)
!!!!!数据平台的项目不能失败
实时数据的抽取:
定时小批量的面向数据采集
实时业务的数据发送:轮询或者触发方式。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 数据架构和数据治理的速赢

    数据架构和数据治理的速赢

    Burbank根据DAMA国际数据管理知识体系(DMBoK2)定义数据架构为:数据架构是数据管理的基础。因为大多数组织拥有个人难以想象的……查看详情

    发布时间:2020.11.08来源:知乎浏览量:550次

  • 定义数据治理:什么是数据治理?

    定义数据治理:什么是数据治理?

    数据治理(DG)是增长最快的学科之一,但在定义数据治理时,许多组织都在努力。……查看详情

    发布时间:2019.01.23来源:亿信华辰浏览量:591次

  • 您不应该进行数据治理的3个理由

    您不应该进行数据治理的3个理由

    今天有很多关于数据治理的讨论。但令人惊讶的是,今天“进行数据治理”的组织数量并不高。在我看来,数据治理是现代数据驱动型企业的必备条件。但……查看详情

    发布时间:2018.12.13来源:数据治理浏览量:418次

  • 数据安全—“无悔”的正确步骤

    数据安全—“无悔”的正确步骤

    谈到数据安全性,你必定不希望有遗憾。我们从马克扎克伯格那里知道了数据安全正在成为互联网公司的头等大事。正如我们知道的,这位首席执行官正处……查看详情

    发布时间:2019.06.19来源:知乎浏览量:565次

  • 什么是数据治理及其为什么对您的业务至关重要?

    什么是数据治理及其为什么对您的业务至关重要?

    数据治理如何影响他们:由于您没有雇用一组全新的理事会成员,因此DGC数据治理的最大影响将是与数据和数据策略相关的额外工作。如果或出现问题……查看详情

    发布时间:2018.11.26来源:数据治理浏览量:555次

  • Informatica把AI带到了数据治理、数据治理和数据治理的合规性。

    Informatica把AI带到了数据治理、数据治理和数据治理的合规性。

    随着欧盟制定新隐私规定的最后期限越来越近,企业需要掌握数据的来源。……查看详情

    发布时间:2019.01.09来源:亿信华辰浏览量:464次

  • 大数据时代监管安全的“智慧大脑”

    大数据时代监管安全的“智慧大脑”

    在这里,监控民警不仅是监狱监管安全防线上的眼睛、耳朵、嘴巴,还是视频监控、固证锁证、指挥联动、应急处突的“智慧”大脑。这里就是监狱监管安……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:406次

  • 大数据环境下的敏感数据治理

    大数据环境下的敏感数据治理

    随着网络技术的快速发展,大量数据在各种业务活动中产生,数据价值越来越凸显,在商业策略、社会治理和国家战略制定过程中,数据都起到了重要的决……查看详情

    发布时间:2019.08.02来源:安全牛浏览量:538次

  • 各行业企业数据管理遇到的挑战

    各行业企业数据管理遇到的挑战

    目前业界并没有对其概念的统一标准定义,我们可以这么认为,数据治理从本质上看就是对一个机构(企业或政府部门)的数据从收集融合到分析管理和利……查看详情

    发布时间:2020.03.26来源:知乎浏览量:392次

  • 数据仓库的定义,它有什么作用?

    数据仓库的定义,它有什么作用?

    最简单的数据仓库是用于存储和报告数据的系统。数据通常源自多个系统,然后将其移入数据仓库以进行长期存储和分析。该存储的结构使得组织内的许多……查看详情

    发布时间:2018.12.20来源:数据治理浏览量:531次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议