数据治理-从理论到实践(一)

发布时间:2019.08.07来源:CSDN浏览量:173次标签:数据治理

数据治理范围
一、背景概述
1.数据治理
由于切入点和侧重点,业内给予了不同的见解。
广泛认可标准:DMBOK、COBIT 5、DGI、和IBM数据治理委员会的定义。
明确数据治理的目标
理解数据治理的职能
把握数据治理的核心
数据治理遵循过程和规范
数据治理的本质:

数据治理不是一门技术,而是逻辑性很强的理论型学科。
1.1大数据治理
Sunil Soares
(1).大数据治理的工作就是制定策略
(2).大数据必须被商业化
从四个方面理解含义
(1).领域
(2).角色
(3).各角色如何参与
(4).大数据治理最终目标:决策
1.2 大数据治理框架

大数据治理范围

大数据质量:大数据质量分析、问题追踪和合规性监控。
大数据生命周期:数据的采集、存储、整合、呈现和展示、分析和应用、归档与销毁的流程。
大数据架构:大数据基础资源层、大数据管理与分析层、大数据应用与服务层。
 
1.3 大数据架构
1.31 系统架构
分层原则(表现、数据、业务)
模块化原则
设计模式和框架的应用
1.32 数据架构
数据模型 (数据架构核心框架模型)
数据的价值链分析 (业务流程及组件相一致的价值分析)
数据交付与实现架构 (数据库架构、数仓、文档和内容架构,以及元数据架构)
1.33 大数据架构
数据处理中的元数据、主数据、数据仓库、数据接口技术。
数据采集、存储、分析和应用功能过程的虚拟化技术,分布式文件,非关系型数据库,数据资源管理技术
面向数据挖掘、预测、决策的大数据分析和可视化技术等。
1.34大数据架构参考模型

基础设施:商用服务器、可结合云计算虚拟化(比如私有云openstack)
非关系数据库nosql:类表结构数据库、 文档数据库、图数据库和键-值存储。
资源管理:一是虚拟化。二是基于Yarn或Mesos的资源管理层。
2.大数据管理与分析层
包含:元数据、主数据、数据仓库、大数据分析等。
2.1 元数据
关于数据的组织、数据域及其关系的信息。(数据的数据,类元注解这类的解释)
重点:元数据的管理。
元数据标准:行业标准和国际标准
行业标准:OMG标准、W3C标准,空间地理标准,非结构化数据的元数据标准,面向领域的元数据标准。
国际元数据标准:ISO/IEC11179
2.2 数据仓库
2.21 定义:
面向主题的、集成的、随时间变化的、相对稳定的(不可更新是历史数据的快照)、支持决策制定过程的数据集合。
2.22 主要功能:
主要有数据采集、数据存储与管理、以及结构化数据、非结构化数据以及实时数据管理等功能。
问:传统数据库有数据管理么?
答:有的,传统数仓管理中,DMBS是主流、大数据体系中,基于分布式文件的存储(hdfs或其他的如淘宝、腾讯等自研的)是主流
元数据机制主要支持以下几类功能。
(1)描述数据在哪个数仓中。
(2)定义入仓和出仓的数据。
(3)记录业务事件发生而抽取的时间安排。
(4)记录并检测系统数据一致性的要求和执行情况。
2.23 主数据
Mater Data指的是各个系统间要共享的数据。比如将人员组织关系数据标准化,统一管理。
构建在ETL之上、因此很多主数据管理平台包含(数据抽取、数据加载、数据转换、数据质量管理、数据复制和数据同步等功能)。
2.24 大数据分析
智能决策支持系统DSS
2.3 大数据应用与服务层
传统接口:JDBC、ODBC、WEB接口
3.大数据架构的实现
基于hadoop的基础架构

 

ETL数据:低质量数据、无关数据。
Elect抽取数据-->从数据库中抽取
了解数据结构、字段含义(对文档、定需求)-->数据质量分析报告。
(1)抽取模式(数据平台通过一定的工具实现抽取,系统变更后导致失败,源系统不对数据质量负责,源系统的性能降低问题)(2)供数模式(源系统抽取)
!!!!!数据平台的项目不能失败
实时数据的抽取:
定时小批量的面向数据采集
实时业务的数据发送:轮询或者触发方式。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理不仅仅是合规问题,它还是一项好业务

    数据治理不仅仅是合规问题,它还是一项好业务

    由于数据的重要性日益增加以及各种数据法规的实施,有效的数据治理策略对业务至关重要。……查看详情

    发布时间:2019.01.17来源:亿信华辰浏览量:178次

  • 数据架构和数据治理的速赢

    数据架构和数据治理的速赢

    Burbank根据DAMA国际数据管理知识体系(DMBoK2)定义数据架构为:数据架构是数据管理的基础。因为大多数组织拥有个人难以想象的……查看详情

    发布时间:2020.11.08来源:知乎浏览量:245次

  • 98%的企业备战数据治理,尚未入局的你还在等什么

    98%的企业备战数据治理,尚未入局的你还在等什么

    UBM近日发布了一份2018企业数据治理白皮书。白皮书中分析了数据治理的现状:虽然越来越多的企业(尤其是业务部门及IT部门)逐渐开始关注……查看详情

    发布时间:2019.05.30来源:亿信华辰浏览量:162次

  • 医疗保健中数据治理的7个基本实践

    医疗保健中数据治理的7个基本实践

    数据现在是任何组织中最有价值的资产之一,尤其是医疗保健,因为我们正在转向更具分析性的行业。数据现在是任何组织中最持久的资产,超过设施,设……查看详情

    发布时间:2018.11.16来源:戴尔桑德斯浏览量:143次

  • 采用基于流程的风险管理方法避免运营灾难

    采用基于流程的风险管理方法避免运营灾难

    风险规避和风险管理似乎是决策制定的热门话题 - 而且有充分的理由。风险伴随着潜在的巨大运营,财务,声誉和法律影响,所以尽一切可能对其进行……查看详情

    发布时间:2019.02.15来源:亿信华辰浏览量:164次

  • 企业大数据的现状与痛点——《企业大数据实践路线》之一

    企业大数据的现状与痛点——《企业大数据实践路线》之一

    内容分类:1、 企业大数据现状及痛点 2、 大数据对企业的促进作用 3、 解析业务数据的特征 4、 典型技术架构的分析和构建……查看详情

    发布时间:2019.02.25来源:亿信华辰浏览量:283次

  • 为什么数据治理会带来数据驱动的成功

    为什么数据治理会带来数据驱动的成功

    通过寻找创造价值和改进执行的新方法,各种形式和规模的组织都在积极地采用数据驱动的方法,这些方法可以通过分析的进步来实现。……查看详情

    发布时间:2019.01.26来源:亿信华辰浏览量:166次

  • 企业数字化转型的五化建设

    企业数字化转型的五化建设

    企业数字化转型的五化建设利用新一代信息技术,构建业务数据的采集、传输、存储、处理、分析、可视化结果和反馈的闭环,打不同系统、不同技术、不……查看详情

    发布时间:2020.04.03来源:知乎浏览量:213次

  • 数据治理:如何入门

    数据治理:如何入门

    无论是在零售业,银行业还是医疗保健业,如今最精明的商业领袖都将数据列入其顶级企业资产 - 与产品,设备,设施和员工一样有价值 - 并且他……查看详情

    发布时间:2018.11.23来源:Henry DeVries浏览量:175次

  • 幸存下来的数据治理浪潮

    幸存下来的数据治理浪潮

    我们正在从大数据的狂野西部时期出现,当时的问题主要集中在技术上是否可行,而不是合法或道德。文化需要一段时间才能改变,工具的发展也需要时间……查看详情

    发布时间:2019.03.05来源:亿信华辰浏览量:125次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议