大数据治理平台建设过程

发布时间:2019.08.19来源:CSDN浏览量:272次标签:数据治理

一、数据治理架构
分为三个层次,分别为战略与治理保障、大数据管理和大数据应用与服务,其中战略与治理保障包括,数据战略规划与评估,数据治理组织与职责、数据制度与管理流程;大数据管理包括数据标准管理、架构与模型管理、质量管理、生存周期管理以及安全管理;大数据应用与服务包括,数据分析、开放共享以及数据服务。该架构依照国标数据管理能力成熟度模型设计。

二、数据质量问题的发现与整治过程
过程共分为三个阶段:源业务系统数据分析、制定质检规则并分析源系统数据,分析质量问题影响并制定整改措施。

源业务系统数据分析阶段的分析素材:源系统操作手册、需求分析说明、数据库设计、源系统数据;

分析过程:分析业务流程、逻辑和关系,确定数据库表间和字段间关系,同时分析与该源业务系 统存在关联关系的其它系统间的业务关联关系和数据关联关系;
输出成果:数据库结构(主外键、约束、表间关系、字段长度与类型等)、业务描述(表及字段的业务含义、业务规则)。
数据质量检查阶段的输入:分析阶段的输出成果以及业务报表;
过程:编制质检规则,并以其为核心,设计质检程序或脚本,执行自动化、批量化检查。过程中对重点业务报表引用的数据表进行重点分析;
输出:质量问题清单及问题定位。
数据质量分析阶段的输入:分析阶段和检查阶段的输出成果;
过程:分析质量问题对报表的影响,即影响分析;成因分析;制定解决方案;
输出:分析报告及整改方案。
数据质量分析报告将是后续大数据治理平台的重要建设依据。

三、数据标准建设过程
建设基础数据标准和指标数据标准框架;确定标准化范围,对重要指标(属性)进行标准化。
建设过程:该过程需要业务人员和技术人员共同参与梳理和编制,补充完善标准化方案。

基础数据标准框架的内容: 可参考人民银行数据标准规范,进行划分,包括业务属性、技术属性和管理属性三大类,业务属性包括标准主题、标准大类、标准子类、标准小类、标准中文名、标准英文名、业务定义、业务规则、融合规则、叔都是服我、与相关标准关系、标准来源及依据;技术属性包括数据类型、数据格式、代码编码规则、取值范围;管理属性包括标准定义者、标准管理者、标准使用者、反馈结果描述、标准应用领域和使用系统;

指标标准建设:筛选重要业务指标()=>制定指标标准框架(确定指标分类体系、属性形成标准化定义模板)=>制定指标标准(指标定义、口径、规则、数据来源,技术部门定义标准化属性,业务部门修订和确认指标标准)

指标数据标准框架:业务属性、技术属性和管理属性。

四、建设数据平台

层次关系:属性(字段)=>实体(对象,表)=>专题(实体集合,业务专题)=>主题   (专题集合、业务域)   
模型演进过程:基础模型=>逻辑模型=>物理模型。基础模型的形成,需要依据国家或行业标准,结合具体实施单位的业务情况进行裁剪,通过保留、增加和合并的业务匹配过程,形成基础模型,划分业务主题模型框架;在进行逻辑模型设计过程中,需要复制(系统间业务含义和字段名称均不相同的字段)、整合(含义相同名称不同的字段)和拆分(含义不同名称相同的字段);之后进行属性匹配,保留、增加、合并、拆分和映射源系统到基础模型中主题、实体和属性。

完成模型设计之后,进行数据映射和ETL操作,将源表数据,参照映射文件、开发规范和加载策略,进行ETL开发和操作,将数据填充至目标表中;通过以上操作,完成整合层建设,整合层的对数据应用的意义:统一的业务视图、明细的数据、全面的数据、稳定的数据模型、完整的历史数据。

汇总层,即满足共性的数据访问需求,抽取公共指标,形成由维度和指标组成的维度模型,对符合要求的数据进行预汇总和加工。

原文地址:https://blog.csdn.net/junweishiwo/article/details/82757205

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 一张架构图告诉你数据中台如何搭建

    一张架构图告诉你数据中台如何搭建

    当下,刮起了一场数据中台风,立马席卷了大数据行业的各个角落。人人都在谈什么是数据中台,我们需不需要建数据中台,数据中台要怎么建?今天,小……查看详情

    发布时间:2020.10.15来源:数据中台浏览量:114次

  • 试论加强数据治理能力的重要性

    试论加强数据治理能力的重要性

    网络信息资源,是指所有以电子数据形式存储在信息光、磁等非纸质的文字、图像、声音、动画等多种形式的载体中,并通过网络通信、计算机或终端等方……查看详情

    发布时间:2018.12.05来源:网络传播杂志浏览量:130次

  • 为什么数据治理很重要

    为什么数据治理很重要

    尽管许多企业的数据治理在被不经意间悄悄地忽视了,只有48%的企业拥有明确的规划或计划,但这并不影响数据治理的重要性,它聚焦于三个关键因素……查看详情

    发布时间:2020.07.10来源:CSDN浏览量:134次

  • 不同部门的数据分析需求,如何满足?

    不同部门的数据分析需求,如何满足?

    让数据驱动落地企业,要先明确商业目的是什么,找到方向才能更好地指导业务。在互联网金融企业中,用户与交易额是各部门工作开展的核心所在。互金……查看详情

    发布时间:2019.01.27来源:亿信华辰浏览量:113次

  • 数据资产管理催动数据价值加快释放

    数据资产管理催动数据价值加快释放

    12月10日,由中国信息通信研究院、中国通信标准化协会、中国互联网协会联合举办的“2019数据资产管理大会”在京召开。多位大数据行业专家……查看详情

    发布时间:2020.03.26来源:知乎浏览量:116次

  • 数据情报,数据治理和第四次工业革命

    数据情报,数据治理和第四次工业革命

    世界经济论坛创始人,“第四次工业革命 ”一书的作者克劳斯·施瓦布表示,目前技术突破的速度没有历史先例,第四次革命是以指数而非线性的速度发……查看详情

    发布时间:2019.02.21来源:亿信华辰浏览量:128次

  • 什么是数据价值?如何挖掘数据价值实现数字化转型?

    什么是数据价值?如何挖掘数据价值实现数字化转型?

    亿信华辰作为智能数据全生命周期产品与服务提供商,提供数据采集、数据存储、数据治理、数据分析产品全方位服务,帮助您实现数据价值挖掘、数据价……查看详情

    发布时间:2021.07.02来源:亿信华辰浏览量:1438次

  • 数据治理:建立有效政策的10个步骤

    数据治理:建立有效政策的10个步骤

    数据治理通常与法规遵从性相关。但数据质量和理解是数据治理的核心。作为竞争优势,更全面地使用快速增长的企业数据的能力也是数据治理策略的公认……查看详情

    发布时间:2018.12.14来源:数据治理浏览量:163次

  • 用于指导金融行业开展大数据基础平台建设技术类标准

    用于指导金融行业开展大数据基础平台建设技术类标准

    技术类标准用于指导金融行业开展大数据基础平台建设。大数据技术本身涉及内容广泛,既包含大数据平台本身的基础软件和各类功能组件,又包括基于业……查看详情

    发布时间:2019.12.27来源:CSDN浏览量:137次

  • 国内数据治理有何新动向?

    国内数据治理有何新动向?

    大数据时代,大数据技术在飞速的发展,逐渐的,大数据融入了各行各业,并且深受各大企业的喜欢,为了让各个企业的数据资产得到充分的利用,数据治……查看详情

    发布时间:2019.09.23来源:知乎浏览量:143次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议