大数据治理平台建设过程

一、数据治理架构
分为三个层次，分别为战略与治理保障、大数据管理和大数据应用与服务，其中战略与治理保障包括，数据战略规划与评估，数据治理组织与职责、数据制度与管理流程；大数据管理包括数据标准管理、架构与模型管理、质量管理、生存周期管理以及安全管理；大数据应用与服务包括，数据分析、开放共享以及数据服务。该架构依照国标数据管理能力成熟度模型设计。

二、数据质量问题的发现与整治过程
过程共分为三个阶段：源业务系统数据分析、制定质检规则并分析源系统数据，分析质量问题影响并制定整改措施。

源业务系统数据分析阶段的分析素材：源系统操作手册、需求分析说明、数据库设计、源系统数据；

分析过程：分析业务流程、逻辑和关系，确定数据库表间和字段间关系，同时分析与该源业务系 统存在关联关系的其它系统间的业务关联关系和数据关联关系；
输出成果：数据库结构（主外键、约束、表间关系、字段长度与类型等）、业务描述（表及字段的业务含义、业务规则）。
数据质量检查阶段的输入：分析阶段的输出成果以及业务报表；
过程：编制质检规则，并以其为核心，设计质检程序或脚本，执行自动化、批量化检查。过程中对重点业务报表引用的数据表进行重点分析；
输出：质量问题清单及问题定位。
数据质量分析阶段的输入：分析阶段和检查阶段的输出成果；
过程：分析质量问题对报表的影响，即影响分析；成因分析；制定解决方案；
输出：分析报告及整改方案。
数据质量分析报告将是后续大数据治理平台的重要建设依据。

三、数据标准建设过程
建设基础数据标准和指标数据标准框架；确定标准化范围，对重要指标（属性）进行标准化。
建设过程：该过程需要业务人员和技术人员共同参与梳理和编制，补充完善标准化方案。

基础数据标准框架的内容： 可参考人民银行数据标准规范，进行划分，包括业务属性、技术属性和管理属性三大类，业务属性包括标准主题、标准大类、标准子类、标准小类、标准中文名、标准英文名、业务定义、业务规则、融合规则、叔都是服我、与相关标准关系、标准来源及依据；技术属性包括数据类型、数据格式、代码编码规则、取值范围；管理属性包括标准定义者、标准管理者、标准使用者、反馈结果描述、标准应用领域和使用系统；

指标标准建设：筛选重要业务指标（）=>制定指标标准框架（确定指标分类体系、属性形成标准化定义模板）=>制定指标标准（指标定义、口径、规则、数据来源，技术部门定义标准化属性，业务部门修订和确认指标标准）

指标数据标准框架：业务属性、技术属性和管理属性。

四、建设数据平台

层次关系：属性（字段）=>实体（对象，表）=>专题（实体集合，业务专题）=>主题   (专题集合、业务域)   
模型演进过程：基础模型=>逻辑模型=>物理模型。基础模型的形成，需要依据国家或行业标准，结合具体实施单位的业务情况进行裁剪，通过保留、增加和合并的业务匹配过程，形成基础模型，划分业务主题模型框架；在进行逻辑模型设计过程中，需要复制（系统间业务含义和字段名称均不相同的字段）、整合（含义相同名称不同的字段）和拆分（含义不同名称相同的字段）；之后进行属性匹配，保留、增加、合并、拆分和映射源系统到基础模型中主题、实体和属性。

完成模型设计之后，进行数据映射和ETL操作，将源表数据，参照映射文件、开发规范和加载策略，进行ETL开发和操作，将数据填充至目标表中；通过以上操作，完成整合层建设，整合层的对数据应用的意义：统一的业务视图、明细的数据、全面的数据、稳定的数据模型、完整的历史数据。

汇总层，即满足共性的数据访问需求，抽取公共指标，形成由维度和指标组成的维度模型，对符合要求的数据进行预汇总和加工。

原文地址：https://blog.csdn.net/junweishiwo/article/details/82757205