数据治理-从理论到实践(一)

发布时间:2019.08.07来源:CSDN浏览量:162次标签:数据治理

数据治理范围
一、背景概述
1.数据治理
由于切入点和侧重点,业内给予了不同的见解。
广泛认可标准:DMBOK、COBIT 5、DGI、和IBM数据治理委员会的定义。
明确数据治理的目标
理解数据治理的职能
把握数据治理的核心
数据治理遵循过程和规范
数据治理的本质:

数据治理不是一门技术,而是逻辑性很强的理论型学科。
1.1大数据治理
Sunil Soares
(1).大数据治理的工作就是制定策略
(2).大数据必须被商业化
从四个方面理解含义
(1).领域
(2).角色
(3).各角色如何参与
(4).大数据治理最终目标:决策
1.2 大数据治理框架

大数据治理范围

大数据质量:大数据质量分析、问题追踪和合规性监控。
大数据生命周期:数据的采集、存储、整合、呈现和展示、分析和应用、归档与销毁的流程。
大数据架构:大数据基础资源层、大数据管理与分析层、大数据应用与服务层。
 
1.3 大数据架构
1.31 系统架构
分层原则(表现、数据、业务)
模块化原则
设计模式和框架的应用
1.32 数据架构
数据模型 (数据架构核心框架模型)
数据的价值链分析 (业务流程及组件相一致的价值分析)
数据交付与实现架构 (数据库架构、数仓、文档和内容架构,以及元数据架构)
1.33 大数据架构
数据处理中的元数据、主数据、数据仓库、数据接口技术。
数据采集、存储、分析和应用功能过程的虚拟化技术,分布式文件,非关系型数据库,数据资源管理技术
面向数据挖掘、预测、决策的大数据分析和可视化技术等。
1.34大数据架构参考模型

基础设施:商用服务器、可结合云计算虚拟化(比如私有云openstack)
非关系数据库nosql:类表结构数据库、 文档数据库、图数据库和键-值存储。
资源管理:一是虚拟化。二是基于Yarn或Mesos的资源管理层。
2.大数据管理与分析层
包含:元数据、主数据、数据仓库、大数据分析等。
2.1 元数据
关于数据的组织、数据域及其关系的信息。(数据的数据,类元注解这类的解释)
重点:元数据的管理。
元数据标准:行业标准和国际标准
行业标准:OMG标准、W3C标准,空间地理标准,非结构化数据的元数据标准,面向领域的元数据标准。
国际元数据标准:ISO/IEC11179
2.2 数据仓库
2.21 定义:
面向主题的、集成的、随时间变化的、相对稳定的(不可更新是历史数据的快照)、支持决策制定过程的数据集合。
2.22 主要功能:
主要有数据采集、数据存储与管理、以及结构化数据、非结构化数据以及实时数据管理等功能。
问:传统数据库有数据管理么?
答:有的,传统数仓管理中,DMBS是主流、大数据体系中,基于分布式文件的存储(hdfs或其他的如淘宝、腾讯等自研的)是主流
元数据机制主要支持以下几类功能。
(1)描述数据在哪个数仓中。
(2)定义入仓和出仓的数据。
(3)记录业务事件发生而抽取的时间安排。
(4)记录并检测系统数据一致性的要求和执行情况。
2.23 主数据
Mater Data指的是各个系统间要共享的数据。比如将人员组织关系数据标准化,统一管理。
构建在ETL之上、因此很多主数据管理平台包含(数据抽取、数据加载、数据转换、数据质量管理、数据复制和数据同步等功能)。
2.24 大数据分析
智能决策支持系统DSS
2.3 大数据应用与服务层
传统接口:JDBC、ODBC、WEB接口
3.大数据架构的实现
基于hadoop的基础架构

 

ETL数据:低质量数据、无关数据。
Elect抽取数据-->从数据库中抽取
了解数据结构、字段含义(对文档、定需求)-->数据质量分析报告。
(1)抽取模式(数据平台通过一定的工具实现抽取,系统变更后导致失败,源系统不对数据质量负责,源系统的性能降低问题)(2)供数模式(源系统抽取)
!!!!!数据平台的项目不能失败
实时数据的抽取:
定时小批量的面向数据采集
实时业务的数据发送:轮询或者触发方式。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 在数据智能时代企业面对庞大的数据量如何高效进行数据治理?

    在数据智能时代企业面对庞大的数据量如何高效进行数据治理?

    在数据智能时代,对企业而言,“数据驱动业务”或者“数据即是业务”的理念逐渐成为业界的一种共识。然而,数据孤岛、数据标准不统一等问题在一定……查看详情

    发布时间:2020.06.23来源:知乎浏览量:106次

  • 2019年数据保护政策趋势展望

    2019年数据保护政策趋势展望

    在全球数据保护法律政策中,欧美仍将扮演引领性角色。欧盟“e-PR”或带来更严格规制。美国联邦与地方隐私立法互补。……查看详情

    发布时间:2019.02.19来源:亿信华辰浏览量:139次

  • 数据治理—各种规模银行的增长之路

    数据治理—各种规模银行的增长之路

    银行看到修复数据问题的成本显着上升。无论是建立集成能力以应对老化技术的直接费用,还是监管机构或审计师发现数据问题和评估民事罚款的间接费用……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:106次

  • 构建业务术语表可以增强数据治理

    构建业务术语表可以增强数据治理

    专家表示,数据专业人员负责在整个组织内建立一个通用词汇表,以帮助确保数据治理成功和遵守GDPR。……查看详情

    发布时间:2019.03.26来源:亿信华辰浏览量:203次

  • 国内数据治理有何新动向?

    国内数据治理有何新动向?

    大数据时代,大数据技术在飞速的发展,逐渐的,大数据融入了各行各业,并且深受各大企业的喜欢,为了让各个企业的数据资产得到充分的利用,数据治……查看详情

    发布时间:2019.09.23来源:知乎浏览量:186次

  • 如何成功实现数据治理

    如何成功实现数据治理

    如果你处理过大量数据,你也许听说过“数据治理”一词,你可能会想,它是什么?适不适合你?如何实施?简单来说,数据治理就是处理数据的策略——……查看详情

    发布时间:2020.03.19来源:知乎浏览量:142次

  • “数据治理那点事”系列之一:那些年我们一起踩过的坑

    “数据治理那点事”系列之一:那些年我们一起踩过的坑

    大数据时代,数据成为社会和组织的宝贵资产,像工业时代的石油和电力一样驱动万物,然而如果石油的杂质太多,电流的电压不稳,数据的价值岂不是大……查看详情

    发布时间:2019.08.02来源:知乎浏览量:124次

  • 医疗领域的领导与治理

    医疗领域的领导与治理

    医疗保健领域的董事会感受到与其他类型组织相同的监管压力。对领导力和治理的重视使医疗保健委员会围绕董事会议席表示关注,目标是采取更强有力的……查看详情

    发布时间:2019.03.14来源:亿信华辰浏览量:153次

  • 数据治理:让数据质量更好(data governance)

    数据治理:让数据质量更好(data governance)

    核心提示:大数据时代数据产生的价值越来越大,基于数据的相关技术、应用形式也在快速发展,开发基于数据的新型应用已经成为高校信息化建设的一个……查看详情

    发布时间:2019.11.22来源:CSDN浏览量:655次

  • 2021 年 10 大数据治理工具

    2021 年 10 大数据治理工具

    数据治理工具被定义为帮助创建和维护一组结构化策略、程序和协议的过程的工具,这些策略、程序和协议控制企业数据的存储、使用和管理方式。本文将……查看详情

    发布时间:2021.07.22来源:亿信华辰数据治理知识库浏览量:961次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议