大数据治理平台建设过程

发布时间:2019.08.19来源:CSDN浏览量:3次标签:数据治理

一、数据治理架构
分为三个层次,分别为战略与治理保障、大数据管理和大数据应用与服务,其中战略与治理保障包括,数据战略规划与评估,数据治理组织与职责、数据制度与管理流程;大数据管理包括数据标准管理、架构与模型管理、质量管理、生存周期管理以及安全管理;大数据应用与服务包括,数据分析、开放共享以及数据服务。该架构依照国标数据管理能力成熟度模型设计。

二、数据质量问题的发现与整治过程
过程共分为三个阶段:源业务系统数据分析、制定质检规则并分析源系统数据,分析质量问题影响并制定整改措施。

源业务系统数据分析阶段的分析素材:源系统操作手册、需求分析说明、数据库设计、源系统数据;

分析过程:分析业务流程、逻辑和关系,确定数据库表间和字段间关系,同时分析与该源业务系 统存在关联关系的其它系统间的业务关联关系和数据关联关系;
输出成果:数据库结构(主外键、约束、表间关系、字段长度与类型等)、业务描述(表及字段的业务含义、业务规则)。
数据质量检查阶段的输入:分析阶段的输出成果以及业务报表;
过程:编制质检规则,并以其为核心,设计质检程序或脚本,执行自动化、批量化检查。过程中对重点业务报表引用的数据表进行重点分析;
输出:质量问题清单及问题定位。
数据质量分析阶段的输入:分析阶段和检查阶段的输出成果;
过程:分析质量问题对报表的影响,即影响分析;成因分析;制定解决方案;
输出:分析报告及整改方案。
数据质量分析报告将是后续大数据治理平台的重要建设依据。

三、数据标准建设过程
建设基础数据标准和指标数据标准框架;确定标准化范围,对重要指标(属性)进行标准化。
建设过程:该过程需要业务人员和技术人员共同参与梳理和编制,补充完善标准化方案。

基础数据标准框架的内容: 可参考人民银行数据标准规范,进行划分,包括业务属性、技术属性和管理属性三大类,业务属性包括标准主题、标准大类、标准子类、标准小类、标准中文名、标准英文名、业务定义、业务规则、融合规则、叔都是服我、与相关标准关系、标准来源及依据;技术属性包括数据类型、数据格式、代码编码规则、取值范围;管理属性包括标准定义者、标准管理者、标准使用者、反馈结果描述、标准应用领域和使用系统;

指标标准建设:筛选重要业务指标()=>制定指标标准框架(确定指标分类体系、属性形成标准化定义模板)=>制定指标标准(指标定义、口径、规则、数据来源,技术部门定义标准化属性,业务部门修订和确认指标标准)

指标数据标准框架:业务属性、技术属性和管理属性。

四、建设数据平台

层次关系:属性(字段)=>实体(对象,表)=>专题(实体集合,业务专题)=>主题   (专题集合、业务域)   
模型演进过程:基础模型=>逻辑模型=>物理模型。基础模型的形成,需要依据国家或行业标准,结合具体实施单位的业务情况进行裁剪,通过保留、增加和合并的业务匹配过程,形成基础模型,划分业务主题模型框架;在进行逻辑模型设计过程中,需要复制(系统间业务含义和字段名称均不相同的字段)、整合(含义相同名称不同的字段)和拆分(含义不同名称相同的字段);之后进行属性匹配,保留、增加、合并、拆分和映射源系统到基础模型中主题、实体和属性。

完成模型设计之后,进行数据映射和ETL操作,将源表数据,参照映射文件、开发规范和加载策略,进行ETL开发和操作,将数据填充至目标表中;通过以上操作,完成整合层建设,整合层的对数据应用的意义:统一的业务视图、明细的数据、全面的数据、稳定的数据模型、完整的历史数据。

汇总层,即满足共性的数据访问需求,抽取公共指标,形成由维度和指标组成的维度模型,对符合要求的数据进行预汇总和加工。

原文地址:https://blog.csdn.net/junweishiwo/article/details/82757205

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 大数据环境下的敏感数据治理

    大数据环境下的敏感数据治理

    随着网络技术的快速发展,大量数据在各种业务活动中产生,数据价值越来越凸显,在商业策略、社会治理和国家战略制定过程中,数据都起到了重要的决……查看详情

    发布时间:2019.08.02来源:安全牛浏览量:1次

  • 新白皮书提供数据治理计划实施技巧

    新白皮书提供数据治理计划实施技巧

    实施数据治理计划 - 一系列标准化管理实践,以解决数据的创建,使用和报告问题 - 有助于确保医疗保健组织内的大量数据得到质量,可访问性和……查看详情

    发布时间:2018.11.21来源:数据治理浏览量:1次

  • 大数据与人工智能有何区别以及哪个技术更好

    大数据与人工智能有何区别以及哪个技术更好

    要想了解大数据与人工智能的区别,首先要从认知大数据和人工智能的概念开始。……查看详情

    发布时间:2019.03.06来源:亿信华辰浏览量:4次

  • 企业数据治理存在很多误区和陷阱

    企业数据治理存在很多误区和陷阱

    企业数据治理存在很多误区和陷阱,最常见的陷阱包括:重IT而轻业务: 尽管通常是专业IT人员最先认识到数据治理的必要性,但他们既不是数据的……查看详情

    发布时间:2020.07.09来源:CSDN浏览量:1次

  • 数据治理与数据质量

    数据治理与数据质量

    单纯从数据层面来看,数据体系包括治理、管理和应用三个部分。治理是负责解决人与人之间的事,管理负责各个职能领域,应用则是价值的实现。不讨论……查看详情

    发布时间:2019.01.03来源:Magic浏览量:1次

  • 数据标准落地成最大痛点!

    数据标准落地成最大痛点!

    目前中小银行数据治理存在数据质量低下、数据治理工具缺乏、重视程度低、专业人才队伍不足等方面难点。……查看详情

    发布时间:2019.12.13来源:CSDN浏览量:1次

  • 数据治理在医疗保健行业意味着什么?

    数据治理在医疗保健行业意味着什么?

    医疗保健行业由许多活动部件组成。医疗保健行业的范围和复杂性使得解释数据治理如何提供价值变得非常具有挑战性。……查看详情

    发布时间:2019.03.14来源:亿信华辰浏览量:2次

  • 企业实现一个数据治理的项目需要注意什么?

    企业实现一个数据治理的项目需要注意什么?

    数据治理是长期、复杂的工程,每个数据治理的领域都可作为一个独立方向进行研究,目前总结的数据治理领域包括但不限于以下内容:数据标准、数据模……查看详情

    发布时间:2020.03.26来源:知乎浏览量:2次

  • 大数据对社会有多大用处?

    大数据对社会有多大用处?

    规范性分析是商业智能(BI)中使用的四种大数据类型之一。大数据是一个描述大量数据的术语-结构化和非结构化-这些大量数据淹没了企业或任何数……查看详情

    发布时间:2018.12.29来源:数据治理浏览量:1次

  • 数据治理的主战场,商业智能还是数据挖掘?

    数据治理的主战场,商业智能还是数据挖掘?

    数据治理这门学问,入手极易,精通极难。说说经验吧,数据治理强调两点,一是高层支持,二是各部门广泛参与。组织内数据治理各项工作的开展都要处……查看详情

    发布时间:2019.02.21来源:知乎浏览量:4次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议