数据治理的血缘分析

发布时间:2019.11.22来源:CSDN浏览量:516次标签:数据治理

数据治理里经常提到的一个词就是血缘分析,血缘分析是保证数据融合(聚合)的一个手段,通过血缘分析实现数据融合处理的可追溯。

有时被概念瞎蒙了,不知道到底如何追溯,落不了地。本人接触的数据治理项目还主要是将各个来源的数据进行整理融合,形成人地事物组织几个业务大类数据。至于详细的ODS、DWD、DWA等数据组织请阅读这篇文章:


数据治理概述
本文主要从数据追溯的业务需求来分析一下,一切还是要从需求出发,这里的数据处理都是Oracle关系数据库之间的融合,血缘分析就划分为表结构血缘分析和记录级的血缘分析;这两类业务场景:

表结构血缘分析
表结构血缘分析
针对表结构的情况,最终用户和运维用户最需要关注,目标表的每个字段的数据来源有哪些?也就是建立一个源表、源字段和目标表、目标字段的映射关系,一个目标表可以对应多个来源表的字段,比如:姓名字段,可能来至于户籍人口表也可能来至于流动人口表或老年人表,也就是意味着这三张表合并起来的人口,才是这个区域的所有人口.
通过上图我们就可以清楚的看到从目标表的目标字段出发,知道数据库中数据处理的规则,清楚的了解每个字段数据的来源。
至于其中ODS、DWD、DWA的关系,参照上面所述先去了解。

记录级血缘分析
记录级血缘分析
记录级的血缘分析,就是从当前记录出发可以按时间查看该记录所有的变更过程。一条记录的生成可能原始对应两个表的两条记录,这种是要追溯跟踪的。
如果再精细跟踪,就可以做到字段级的血缘分析,与表结构的血缘分析就可以完美呼应。
单击某一个字段,可查看该字段的血缘关系;一个是以此字段为目标的血缘追溯,一个是以此字段为源的血缘追溯
这里就要看具体应用需求来定,毕竟做的越精细实现方案会越复杂。
血缘分析毕竟解决的问题是数据出了错之后能明确知道是哪一步环节的哪个原始数据出问题了,所以一般到记录级就基本可以进行追溯跟踪了。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 什么是数据治理以及董事会应该如何应对?

    什么是数据治理以及董事会应该如何应对?

    数据是公司持续时间最长的资产。它超越了人,设备和设施。数据治理将分析与治理要求相结合。许多公司错误地将数据治理问题与其IT部门联系起来。……查看详情

    发布时间:2018.11.22来源:Nicholas J. Price浏览量:568次

  • 数据要素跑步入场,如何构建大数据治理体系?

    数据要素跑步入场,如何构建大数据治理体系?

    通俗来说,数据治理就是预防、诊断和治疗与数据有关的一切“病症”。亿信华辰智能数据治理平台——“睿治”就是根治病症的良药。……查看详情

    发布时间:2021.05.13来源:亿信数据治理知识库浏览量:598次

  • 数据质量是什么,企业数据质量分析怎么做?

    数据质量是什么,企业数据质量分析怎么做?

    现在大数据时代,数据充斥于我们的生活、工作、学习中。随着数据增加的来源和速度越来越多、越来越快,企业纷纷在努力的解决出现的这些问题,以及……查看详情

    发布时间:2019.09.26来源:数据分析网浏览量:479次

  • 利用数据治理重新定义数据架构

    利用数据治理重新定义数据架构

    数据和数据管理的重要性,价值和责任正在迅速增加。……查看详情

    发布时间:2019.01.16来源:亿信华辰浏览量:524次

  • 国内数据治理平台厂商介绍

    国内数据治理平台厂商介绍

    睿治数据治理平台是北京亿信华辰软件有限责任公司完全自主研发的一站式综合数据治理整体解决方案,是一款面向全用户角色的、智能的、敏捷的数据全……查看详情

    发布时间:2019.09.19来源:知乎浏览量:614次

  • 基于大数据架构的医院数据中心管理

    基于大数据架构的医院数据中心管理

    医疗数据较为复杂,以医院来说建设的业务系统接近百来个,例如HIS系统、急诊系统、护理系统、电子病历系统、检验系统、检查系统、输血系统、生……查看详情

    发布时间:2019.02.14来源:亿信华辰浏览量:442次

  • 你知道什么是数据中台吗?

    你知道什么是数据中台吗?

    什么是数据中台数据中台是全新的架构变革。过去三十年,企业数据管理都以传统的IT架构为基础。每当技术部门为业务部门解决问题时,需要从业务需……查看详情

    发布时间:2020.11.21来源:国云数据中台浏览量:600次

  • 中国“大数据转型”引人关注:万亿市场可期 地方密集发力

    中国“大数据转型”引人关注:万亿市场可期 地方密集发力

    以人工智能、大数据、云计算为代表的信息产业,正在成为地方经济发展的新亮点。以大数据产业为例,过去一段时间以来,各地已陆续释放了推动该产业……查看详情

    发布时间:2019.02.26来源:亿信华辰浏览量:394次

  • 大数据是大问题?组织需要为数据管理负责

    大数据是大问题?组织需要为数据管理负责

    如果数据收集在2018年让人们明白一件事的话,那就是使用数据的公司与商业模式依赖数据利用的公司之间存在一条明显而深刻的界线。由于剑桥分析……查看详情

    发布时间:2019.04.09来源:亿信华辰浏览量:405次

  • 数据治理运营:团队

    数据治理运营:团队

    这是关于数据治理运作的两部分系列的第二部分。“ 数据治理运作:差距 ”系列的第一部分讨论了需求是如何产生的,数据治理运营所需的一些主要原……查看详情

    发布时间:2018.11.14来源:Jayakumar Rajaretnam浏览量:469次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议