数据治理-从理论到实践(一)

发布时间:2019.08.07来源:CSDN浏览量:118次标签:数据治理

数据治理范围
一、背景概述
1.数据治理
由于切入点和侧重点,业内给予了不同的见解。
广泛认可标准:DMBOK、COBIT 5、DGI、和IBM数据治理委员会的定义。
明确数据治理的目标
理解数据治理的职能
把握数据治理的核心
数据治理遵循过程和规范
数据治理的本质:

数据治理不是一门技术,而是逻辑性很强的理论型学科。
1.1大数据治理
Sunil Soares
(1).大数据治理的工作就是制定策略
(2).大数据必须被商业化
从四个方面理解含义
(1).领域
(2).角色
(3).各角色如何参与
(4).大数据治理最终目标:决策
1.2 大数据治理框架

大数据治理范围

大数据质量:大数据质量分析、问题追踪和合规性监控。
大数据生命周期:数据的采集、存储、整合、呈现和展示、分析和应用、归档与销毁的流程。
大数据架构:大数据基础资源层、大数据管理与分析层、大数据应用与服务层。
 
1.3 大数据架构
1.31 系统架构
分层原则(表现、数据、业务)
模块化原则
设计模式和框架的应用
1.32 数据架构
数据模型 (数据架构核心框架模型)
数据的价值链分析 (业务流程及组件相一致的价值分析)
数据交付与实现架构 (数据库架构、数仓、文档和内容架构,以及元数据架构)
1.33 大数据架构
数据处理中的元数据、主数据、数据仓库、数据接口技术。
数据采集、存储、分析和应用功能过程的虚拟化技术,分布式文件,非关系型数据库,数据资源管理技术
面向数据挖掘、预测、决策的大数据分析和可视化技术等。
1.34大数据架构参考模型

基础设施:商用服务器、可结合云计算虚拟化(比如私有云openstack)
非关系数据库nosql:类表结构数据库、 文档数据库、图数据库和键-值存储。
资源管理:一是虚拟化。二是基于Yarn或Mesos的资源管理层。
2.大数据管理与分析层
包含:元数据、主数据、数据仓库、大数据分析等。
2.1 元数据
关于数据的组织、数据域及其关系的信息。(数据的数据,类元注解这类的解释)
重点:元数据的管理。
元数据标准:行业标准和国际标准
行业标准:OMG标准、W3C标准,空间地理标准,非结构化数据的元数据标准,面向领域的元数据标准。
国际元数据标准:ISO/IEC11179
2.2 数据仓库
2.21 定义:
面向主题的、集成的、随时间变化的、相对稳定的(不可更新是历史数据的快照)、支持决策制定过程的数据集合。
2.22 主要功能:
主要有数据采集、数据存储与管理、以及结构化数据、非结构化数据以及实时数据管理等功能。
问:传统数据库有数据管理么?
答:有的,传统数仓管理中,DMBS是主流、大数据体系中,基于分布式文件的存储(hdfs或其他的如淘宝、腾讯等自研的)是主流
元数据机制主要支持以下几类功能。
(1)描述数据在哪个数仓中。
(2)定义入仓和出仓的数据。
(3)记录业务事件发生而抽取的时间安排。
(4)记录并检测系统数据一致性的要求和执行情况。
2.23 主数据
Mater Data指的是各个系统间要共享的数据。比如将人员组织关系数据标准化,统一管理。
构建在ETL之上、因此很多主数据管理平台包含(数据抽取、数据加载、数据转换、数据质量管理、数据复制和数据同步等功能)。
2.24 大数据分析
智能决策支持系统DSS
2.3 大数据应用与服务层
传统接口:JDBC、ODBC、WEB接口
3.大数据架构的实现
基于hadoop的基础架构

 

ETL数据:低质量数据、无关数据。
Elect抽取数据-->从数据库中抽取
了解数据结构、字段含义(对文档、定需求)-->数据质量分析报告。
(1)抽取模式(数据平台通过一定的工具实现抽取,系统变更后导致失败,源系统不对数据质量负责,源系统的性能降低问题)(2)供数模式(源系统抽取)
!!!!!数据平台的项目不能失败
实时数据的抽取:
定时小批量的面向数据采集
实时业务的数据发送:轮询或者触发方式。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理要处理好四个关系

    数据治理要处理好四个关系

    随着我国大数据战略的不断推进,各类生产生活行为都以数据的形式全景留痕,构建了一个与现实空间平行的“数据空间”,数据治理呼之欲出。要切实发……查看详情

    发布时间:2020.04.09来源:知乎浏览量:98次

  • 新形式的治理需要安全和道德地解锁数据价值

    新形式的治理需要安全和道德地解锁数据价值

    尽管今天的数据非常丰富,但其中大部分仍处于孤岛状态,这意味着需要新的治理结构来打开它并释放其对社会的潜在价值。……查看详情

    发布时间:2019.03.21来源:亿信华辰浏览量:94次

  • 国内数据治理系统全面介绍

    国内数据治理系统全面介绍

    随着大数据技术的飞速发展,大数据已经融入到了各行各业,为了能让各企业的数据资产得到充分的利用,数据治理非常重要,如今数据治理已经逐渐成为……查看详情

    发布时间:2019.09.19来源:知乎浏览量:149次

  • DAMA 数据管理知识体系指南-数据管理方方面面的一部代表性著作

    DAMA 数据管理知识体系指南-数据管理方方面面的一部代表性著作

    本书由DAMA International组织众多数据管理领域的国际级资深专家编著。这是一项里程碑式的工作。数据管理是把业务和信息技术融……查看详情

    发布时间:2018.11.29来源:DAMA浏览量:168次

  • 提高企业数据质量能做些什么?

    提高企业数据质量能做些什么?

    如今,我们生活在数据时代,各种数字化正在实实在在的改变着企业的日常运营,我们的生活、工作、学习,现在都离不开数据,对于企业来说,数据就是……查看详情

    发布时间:2019.11.01来源:知乎浏览量:101次

  • 2019年的数据治理趋势

    2019年的数据治理趋势

    2018年十月,DATAVERSITY ®发布报告趋势数据治理和数据管理,这是基于对囊括主要来自信息和数据治理专家,数据和信息架构师,以……查看详情

    发布时间:2019.02.20来源:亿信华辰浏览量:117次

  • 数据治理:将数据从源头进行清洗

    数据治理:将数据从源头进行清洗

    数据一切都与技术的集中化有关。数据安全地存储在企业大型机上,只有具备导航预处理数据库技能的程序员才能访问它。差不多四十年后,所有这些都与……查看详情

    发布时间:2019.06.20来源:简书浏览量:143次

  • 数据治理到底在哪里治?

    数据治理到底在哪里治?

    关于数据中台到底应该在中台治理还是应该在后台治理,数据治理到底应该放在中台,还是后台,我个人的理解是:小数据标准化治理靠人工、大数据预测……查看详情

    发布时间:2020.07.07来源:知乎浏览量:105次

  • 数据治理股票检查:使用数据治理来计算您的数据资产

    数据治理股票检查:使用数据治理来计算您的数据资产

    为了遵守法规(例如,GDPR)并确保业务绩效达到峰值,组织通常会聘请顾问来帮助评估其数据资产。……查看详情

    发布时间:2019.04.03来源:亿信华辰浏览量:153次

  • 数据治理中,如何做好数据清理与归档

    数据治理中,如何做好数据清理与归档

    传统上,数据的清理和归档属于DBA的职责,随着企业数字化转型、数据治理工作的推进,这项工作也被纳入了数据治理工作的重要内容。数据团队定期……查看详情

    发布时间:2021.06.24来源:亿信数据治理知识库浏览量:123次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议