立即扫码
享受一对一服务
数据治理-从理论到实践（一）
发布时间：2019.08.07来源：CSDN浏览量：365次标签：数据治理
广泛认可标准：DMBOK、COBIT 5、DGI、和IBM数据治理委员会的定义。
明确数据治理的目标
理解数据治理的职能
把握数据治理的核心
数据治理遵循过程和规范
数据治理的本质：
理解数据治理的职能
把握数据治理的核心
数据治理遵循过程和规范
数据治理的本质：
数据治理不是一门技术，而是逻辑性很强的理论型学科。
1.1大数据治理
Sunil Soares
Sunil Soares
(1).大数据治理的工作就是制定策略
(2).大数据必须被商业化
从四个方面理解含义
(1).领域
(2).角色
(3).各角色如何参与
(4).大数据治理最终目标：决策
1.2 大数据治理框架
大数据治理范围
大数据质量：大数据质量分析、问题追踪和合规性监控。
大数据生命周期：数据的采集、存储、整合、呈现和展示、分析和应用、归档与销毁的流程。
大数据架构：大数据基础资源层、大数据管理与分析层、大数据应用与服务层。
1.3 大数据架构
1.31 系统架构
1.31 系统架构
分层原则（表现、数据、业务）
模块化原则
设计模式和框架的应用
1.32 数据架构
数据模型 （数据架构核心框架模型）
数据的价值链分析 （业务流程及组件相一致的价值分析）
数据交付与实现架构 （数据库架构、数仓、文档和内容架构，以及元数据架构）
1.33 大数据架构
数据处理中的元数据、主数据、数据仓库、数据接口技术。
数据采集、存储、分析和应用功能过程的虚拟化技术，分布式文件，非关系型数据库，数据资源管理技术
面向数据挖掘、预测、决策的大数据分析和可视化技术等。
1.34大数据架构参考模型
基础设施：商用服务器、可结合云计算虚拟化（比如私有云openstack）
非关系数据库nosql:类表结构数据库、 文档数据库、图数据库和键-值存储。
资源管理：一是虚拟化。二是基于Yarn或Mesos的资源管理层。
2.大数据管理与分析层
包含：元数据、主数据、数据仓库、大数据分析等。
包含：元数据、主数据、数据仓库、大数据分析等。
2.1 元数据
关于数据的组织、数据域及其关系的信息。（数据的数据，类元注解这类的解释）
关于数据的组织、数据域及其关系的信息。（数据的数据，类元注解这类的解释）
重点：元数据的管理。
元数据标准：行业标准和国际标准
行业标准：OMG标准、W3C标准，空间地理标准，非结构化数据的元数据标准，面向领域的元数据标准。
国际元数据标准：ISO/IEC11179
2.2 数据仓库
2.21 定义：
2.21 定义：
面向主题的、集成的、随时间变化的、相对稳定的（不可更新是历史数据的快照）、支持决策制定过程的数据集合。
2.22 主要功能：
主要有数据采集、数据存储与管理、以及结构化数据、非结构化数据以及实时数据管理等功能。
问：传统数据库有数据管理么？
答：有的，传统数仓管理中，DMBS是主流、大数据体系中，基于分布式文件的存储（hdfs或其他的如淘宝、腾讯等自研的）是主流
元数据机制主要支持以下几类功能。
（1）描述数据在哪个数仓中。
（2）定义入仓和出仓的数据。
（3）记录业务事件发生而抽取的时间安排。
（4）记录并检测系统数据一致性的要求和执行情况。
2.23 主数据
Mater Data指的是各个系统间要共享的数据。比如将人员组织关系数据标准化，统一管理。
2.24 大数据分析
智能决策支持系统DSS
2.3 大数据应用与服务层
传统接口：JDBC、ODBC、WEB接口
传统接口：JDBC、ODBC、WEB接口
3.大数据架构的实现
基于hadoop的基础架构
基于hadoop的基础架构
ETL数据：低质量数据、无关数据。
Elect抽取数据-->从数据库中抽取
了解数据结构、字段含义（对文档、定需求）-->数据质量分析报告。
（1）抽取模式（数据平台通过一定的工具实现抽取，系统变更后导致失败，源系统不对数据质量负责，源系统的性能降低问题）（2）供数模式（源系统抽取）
！！！！！数据平台的项目不能失败
实时数据的抽取：
定时小批量的面向数据采集
实时业务的数据发送：轮询或者触发方式。
（部分内容来源网络，如有侵权请联系删除）
立即免费申请产品试用
免费试用
相关文章推荐
-
数据治理框架：它是什么，我已经拥有它？
由于第一个人在第一台计算机上打开了电源开关，IT和业务部门已决定如何处理由技术使用和创建的数据。虽然您不再提交穿孔卡或存档磁带（可能），……查看详情发布时间：2018.12.27来源：数据治理浏览量：367次
-
大数据会取代传统BI吗
BI一词早在20年前就被提出，加特纳集团将商业智能定义为描述一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。……查看详情发布时间：2019.03.14来源：亿信华辰浏览量：241次
-
金融机构数据质量迎来“大考” ，这个数据治理利器你值得拥有
金融机构数据质量迎来“大考”。近日，中国银保监会办公厅下发了《关于开展监管数据质量专项治理工作的通知》，此次专项治理工作要压实监管数据质……查看详情发布时间：2021.01.29来源：知乎浏览量：451次
-
大型企业数据治理的现状和解决方案
在大数据时代，数据治理是所有的拥有大量数据的公司的巨大的挑战。没有数据，企业缺乏用于做决策的数据的支持。可是有了越来越多的数据，很多情况……查看详情发布时间：2020.03.24来源：知乎浏览量：414次
-
业务流程建模与标准操作过程之间的联系
我们上周开始了一个关于业务流程（BP）建模及其在企业中的角色的新博客系列。本周的重点是业务流程建模和标准操作过程之间的联系。具体而言，使……查看详情发布时间：2019.02.18来源：亿信华辰浏览量：256次
-
数据治理和数据管理、数据管控是什么关系
如果要用一个模型来描述数据治理、数据管理、数据管控这三个名词，那应该是一个“金字塔”模型。……查看详情发布时间：2021.04.12来源：亿信数据治理研究院浏览量：285次
-
大数据在应急管理中的应用——亿信华辰
随着互联网、社交媒体和人工智能的技术发展和应用普及，大数据在应急管理中发挥的作用将越来越重要，是应急管理未来发展的重要方向之一。……查看详情发布时间：2019.02.25来源：亿信华辰浏览量：271次
-
数据生命周期管理工作包括哪些方面
睿治数据治理工具--数据生命周期管理平台支持数据资产全生命周期管理，根据存储周期自动计算每行数据的存储时限，并根据存储时限进行数据自动归……查看详情发布时间：2021.09.02来源：亿信华辰数据治理知识库浏览量：809次
-
企业如何快速启动数据治理项目呢？
企业在运营的过程中通常都会产生各种各样的数据问题，例如各部门数据不一致，导致汇总部门工作效率低，数据错误从而导致做出错误的判断等等，因此……查看详情发布时间：2019.07.29来源：头条浏览量：268次
-
相关主题