数据中台如何进行数据治理

发布时间:2020.04.01来源:知乎浏览量:194次标签:数据治理

数据中台可通过数据需求、数据质量、元数据管理等领域加强数据治理

一、增强业务需求管理,构建并持续完善数据标准体系
数据中台的运营部门,收集到来自于银行各部门、各层级管理人员和业务分析人员的业务需求,并且随着人员岗位的变化,即使同一层级、同一角色的人员提出的业务需求也可能大不相同;在不同的时间段下,根据银行的业务状况、规模和偏好调整等情况,业务需求重点和逻辑也不一样。

因此,数据中台的运营部门,应持续提炼数据中台业务需求,并与数据治理部门协同,依据需求及认责管理办法,并与不同类型的业务需求与实施工程相结合,落地与银行数据标准体系相吻合的指标体系。

分类管理业务需求:通常银行业务需求来自四个方面,包括临时类数据需求、接口类数据需求、报表类数据需求、综合类数据需求。其中临时类数据需求的数据时效性比较高,开发时间较短。但接口类、报表类和综合类数据需求都相对复杂,有较多的业务口径定义和数据探源工作,实施工程种类也较多。
识别和提炼业务需求:从数据角度总结和归纳共性的指标与公共维度,并对指标的名称、业务口径、数据口径进行定义与描述,形成企业级可共享的指标库。同时,由数据管理部门牵头,明确指标的归属部门和更新机制。

二、建立跨系统数据质量检核机制,强化数据的质量管控
数据中台的数据质量问题,不仅取决于源头系统及外部数据的数据质量,并决定于采集、加工、存储、生成与应用整个数据生命周期的数据处理流程的准确程度。因此数据中台对于数据质量的管理,需要通过组织管理、技术方法、业务流程理解以及数据语义理解等多个方面,进行综合管理。

组织管理:数据中台开发与运维部门,主动参与或者主导数据治理过程,积极建立数据质量管理机制,推动落实数据管理流程,更大力度的辅助数据治理归口管理部门,发现与解决数据质量问题。
技术方法:数据中台推动数据质量问题的识别与解决,具有企业级、跨系统的平台和能力,又是提升数据服务能力的必要基础。通过归纳数据质量问题的类型及产生原因,利用技术方式实现跨部门、跨系统的数据质量问题的监测与预警,并可以持续验证与跟踪数据质量问题的解决。
业务流程及数据语义理解:数据中台的开发及运营部门,由于持续梳理各个部门、各个系统的内外部数据,通过不断的进行数据理解、数据分析,可以识别与发现部门之间业务术语、规则、逻辑等不一致而导致的数据问题,可与数据管理部门一道进行数据管控。

三、提升元数据的数据质量,深化元数据分析及应用
随着数据中台各种来源数据增多,数据应用越来越丰富,数据处理过程也必然越来越复杂。在各种数据中,如何聚焦业务关注的数据内容、使用方式以及未来应用趋势,对于数据中台的架构演变、模型设计以及数据治理等活动来说,将变的越来越重要。

识别数据:通过数据中台建设流程,整理业务层面的数据资产目录,以及维护开发方面的物理数据模型和数据字典,清晰定义各个字段项名称、含义等,实现数据资源的语义化。
评价数据:通过获取表级及字段级基础元数据、关联元数据、应用日志等,运用图计算、标签传播算法等技术,系统化、自动化地对计算与存储平台上的数据进行打标、整理、归档,计算相关评价指标,如字段的查询次数、关联次数、聚合次数、过滤次数等。
追踪数据在使用过程中的变化:通过识别和追踪数据在全生命周期的各个形态和变化,实现源数据的分析管理,对于数据使用者,可以通过元数据让其快速找到所需要的数据;对于ETL 
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 指数技术时代的数据治理

    指数技术时代的数据治理

    新兴的数据需求和数据生成技术需要两种类型的数据治理:安全性,以及整体企业级治理的需求,而不是逐个孤岛的治理。企业中出现了一个重要的新价值……查看详情

    发布时间:2019.01.02来源:亿信华辰浏览量:136次

  • 如何数据标准应对这些难题

    如何数据标准应对这些难题

    应对数据标准这些难题,最经济、最理想的模式当然是:做大数据建设,首先做标准,再做大数据平台,数据仓库等。但一般的不大可能有这样的认识,很……查看详情

    发布时间:2020.11.13来源:知乎浏览量:120次

  • 数据太多、太乱、太差?你需要这样一套数据治理工具

    数据太多、太乱、太差?你需要这样一套数据治理工具

    为了规范数据处理过程,凸显数据业务价值,需对数据进行综合管理,构建标准化、流程化、自动化、一体化的数据治理体系,确保数据架构规划合理、数……查看详情

    发布时间:2021.07.16来源:亿信数据治理知识库浏览量:165次

  • 面对如今的数据挑战企业如何有效地进行数据治理

    面对如今的数据挑战企业如何有效地进行数据治理

    数据治理是对数据资产管理行使权力和控制的活动集合,数据治理是识别、管理和解决几种不同类型数据相关问题的手段,包括数据质量问题、数据命名和……查看详情

    发布时间:2019.08.29来源:知乎浏览量:127次

  • 数据治理工具那么多,如何选择适合自己企业的呢?

    数据治理工具那么多,如何选择适合自己企业的呢?

    随着互联网技术的不断发展,人们获取、收集信息的渠道也越来越多样化,各种搜索引擎、通讯工具、社交网站等普及应用,使得数据信息呈迅速增长趋势……查看详情

    发布时间:2019.07.26来源:知乎浏览量:112次

  • 杰出数据科学家的关键技能是什么?

    杰出数据科学家的关键技能是什么?

    学习如何应用不同的Python或R算法真的很简单:众所周知, 我们只需要修改一两行代码,就能将线性回归迁移到神经网络、SVM,或者你喜欢……查看详情

    发布时间:2019.02.14来源:亿信华辰浏览量:115次

  • 大数据治理的语义方法

    大数据治理的语义方法

    正如Coyne所说:“数据治理正在成长为一套实践,软件和系统是其中不可或缺的一部分。但他们只是其中的一部分。您在更高层次上拥有的是实践和……查看详情

    发布时间:2019.03.05来源:亿信华辰浏览量:146次

  • 可量身定制的数据治理平台

    可量身定制的数据治理平台

    在大数据浪潮下,大数据平台建设如火如荼,大数据平台建设本质上是数据的建设。由于数据量逐渐庞大导致的一系列问题,使很多用户意识到数据治理的……查看详情

    发布时间:2019.11.22来源:CSDN浏览量:154次

  • 数据治理到底应该怎么治?

    数据治理到底应该怎么治?

    数据到底怎么治,这确实是一个宽泛的话题,首先是要明确治理的内容。针对不同的治理内容采取不同的数据治理策略。关于小数据和大数据的治理侧重点……查看详情

    发布时间:2020.07.07来源:知乎浏览量:119次

  • 数据中台如何进行数据治理

    数据中台如何进行数据治理

    数据中台可通过数据需求、数据质量、元数据管理等领域加强数据治理。……查看详情

    发布时间:2020.04.01来源:知乎浏览量:194次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议