大数据治理平台建设过程

发布时间:2019.08.19来源:CSDN浏览量:217次标签:数据治理

一、数据治理架构
分为三个层次,分别为战略与治理保障、大数据管理和大数据应用与服务,其中战略与治理保障包括,数据战略规划与评估,数据治理组织与职责、数据制度与管理流程;大数据管理包括数据标准管理、架构与模型管理、质量管理、生存周期管理以及安全管理;大数据应用与服务包括,数据分析、开放共享以及数据服务。该架构依照国标数据管理能力成熟度模型设计。

二、数据质量问题的发现与整治过程
过程共分为三个阶段:源业务系统数据分析、制定质检规则并分析源系统数据,分析质量问题影响并制定整改措施。

源业务系统数据分析阶段的分析素材:源系统操作手册、需求分析说明、数据库设计、源系统数据;

分析过程:分析业务流程、逻辑和关系,确定数据库表间和字段间关系,同时分析与该源业务系 统存在关联关系的其它系统间的业务关联关系和数据关联关系;
输出成果:数据库结构(主外键、约束、表间关系、字段长度与类型等)、业务描述(表及字段的业务含义、业务规则)。
数据质量检查阶段的输入:分析阶段的输出成果以及业务报表;
过程:编制质检规则,并以其为核心,设计质检程序或脚本,执行自动化、批量化检查。过程中对重点业务报表引用的数据表进行重点分析;
输出:质量问题清单及问题定位。
数据质量分析阶段的输入:分析阶段和检查阶段的输出成果;
过程:分析质量问题对报表的影响,即影响分析;成因分析;制定解决方案;
输出:分析报告及整改方案。
数据质量分析报告将是后续大数据治理平台的重要建设依据。

三、数据标准建设过程
建设基础数据标准和指标数据标准框架;确定标准化范围,对重要指标(属性)进行标准化。
建设过程:该过程需要业务人员和技术人员共同参与梳理和编制,补充完善标准化方案。

基础数据标准框架的内容: 可参考人民银行数据标准规范,进行划分,包括业务属性、技术属性和管理属性三大类,业务属性包括标准主题、标准大类、标准子类、标准小类、标准中文名、标准英文名、业务定义、业务规则、融合规则、叔都是服我、与相关标准关系、标准来源及依据;技术属性包括数据类型、数据格式、代码编码规则、取值范围;管理属性包括标准定义者、标准管理者、标准使用者、反馈结果描述、标准应用领域和使用系统;

指标标准建设:筛选重要业务指标()=>制定指标标准框架(确定指标分类体系、属性形成标准化定义模板)=>制定指标标准(指标定义、口径、规则、数据来源,技术部门定义标准化属性,业务部门修订和确认指标标准)

指标数据标准框架:业务属性、技术属性和管理属性。

四、建设数据平台

层次关系:属性(字段)=>实体(对象,表)=>专题(实体集合,业务专题)=>主题   (专题集合、业务域)   
模型演进过程:基础模型=>逻辑模型=>物理模型。基础模型的形成,需要依据国家或行业标准,结合具体实施单位的业务情况进行裁剪,通过保留、增加和合并的业务匹配过程,形成基础模型,划分业务主题模型框架;在进行逻辑模型设计过程中,需要复制(系统间业务含义和字段名称均不相同的字段)、整合(含义相同名称不同的字段)和拆分(含义不同名称相同的字段);之后进行属性匹配,保留、增加、合并、拆分和映射源系统到基础模型中主题、实体和属性。

完成模型设计之后,进行数据映射和ETL操作,将源表数据,参照映射文件、开发规范和加载策略,进行ETL开发和操作,将数据填充至目标表中;通过以上操作,完成整合层建设,整合层的对数据应用的意义:统一的业务视图、明细的数据、全面的数据、稳定的数据模型、完整的历史数据。

汇总层,即满足共性的数据访问需求,抽取公共指标,形成由维度和指标组成的维度模型,对符合要求的数据进行预汇总和加工。

原文地址:https://blog.csdn.net/junweishiwo/article/details/82757205

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 跨域数据交换平台解决方案

    跨域数据交换平台解决方案

    随着信息社会的不断发展,信息融合正逐步走向深化。业务系统如何跨越不同安全等级的网络域进行数据传输,是整合各类信息资源、降低各系统间信息壁……查看详情

    发布时间:2020.08.07来源:知乎浏览量:111次

  • 数据资产如何安全可追溯,你们应该这样做!

    数据资产如何安全可追溯,你们应该这样做!

    近年来,食品安全中提到产地的可追溯性,给许多生鲜打上了专属的身份证以便出现问题可以追根溯源。而这并不稀奇,在使用报表工具时处于数据安全考……查看详情

    发布时间:2021.03.12来源:知乎浏览量:70次

  • 数据治理到底应该怎么治?

    数据治理到底应该怎么治?

    数据到底怎么治,这确实是一个宽泛的话题,首先是要明确治理的内容。针对不同的治理内容采取不同的数据治理策略。关于小数据和大数据的治理侧重点……查看详情

    发布时间:2020.07.07来源:知乎浏览量:72次

  • 为什么集成和治理对数据湖成功至关重要

    为什么集成和治理对数据湖成功至关重要

    这是一个由三部分组成的系列文章的最后一篇文章,探讨如何构建一个能够满足真正企业级数据管理平台所有要求的数据湖。虽然早期的专题文章侧重于H……查看详情

    发布时间:2019.02.28来源:亿信华辰浏览量:65次

  • 数据治理及其在激励数据中的作用

    数据治理及其在激励数据中的作用

    数据治理是一种包罗万象的数据工程和数据管理概念,组织采用该概念来确保整个数据生命周期中的高质量数据。此概念基于四个概念 - 可用性,适用……查看详情

    发布时间:2018.12.18来源:数据治理浏览量:85次

  • 为什么你应该有一个数据治理策略

    为什么你应该有一个数据治理策略

    垃圾进垃圾出。自打孔卡和电传终端以来,这个座右铭一直是真实的。如今,复杂的IT系统同样依赖于高质量的数据,无论是在会计,生产还是商业智能……查看详情

    发布时间:2018.11.22来源:数据治理浏览量:91次

  • 数据治理,更依赖人治还是自治?

    数据治理,更依赖人治还是自治?

    数据治理“自治”包含两层含义:自动化治理和自助化治理。数据中台,是能力的下沉,数据处理能力下沉为加工平台,数据处理结果下沉为数据资产。那……查看详情

    发布时间:2019.11.18来源:知乎浏览量:60次

  • 颠覆性变革即将到来,金融行业大数据治理该怎么做?

    颠覆性变革即将到来,金融行业大数据治理该怎么做?

    说到大数据应用所带来的颠覆性变革,没有一个行业比金融行业更加明显。从客户画像到精准营销,从风险管控到运营优化,几乎所有的业务环节都与大数……查看详情

    发布时间:2018.10.10来源:it168浏览量:59次

  • 数据管理政策:数据治理的基石

    数据管理政策:数据治理的基石

    您的组织可能认为或可能不认为您需要,但我在此告诉您,数据管理策略是管理企业数据资产的基石。……查看详情

    发布时间:2019.01.22来源:亿信华辰浏览量:97次

  • 数据治理包括哪几个方面

    数据治理包括哪几个方面

    大数据时代的到来,让政府、企业看到了数据资产的价值,快速开始探索应用场景和商业模式、建设技术平台。这无可厚非。但是,如果在大数据拼图中遗……查看详情

    发布时间:2022.05.10来源:小亿浏览量:1434次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议