数据治理的血缘分析

发布时间:2019.11.22来源:CSDN浏览量:521次标签:数据治理

数据治理里经常提到的一个词就是血缘分析,血缘分析是保证数据融合(聚合)的一个手段,通过血缘分析实现数据融合处理的可追溯。

有时被概念瞎蒙了,不知道到底如何追溯,落不了地。本人接触的数据治理项目还主要是将各个来源的数据进行整理融合,形成人地事物组织几个业务大类数据。至于详细的ODS、DWD、DWA等数据组织请阅读这篇文章:


数据治理概述
本文主要从数据追溯的业务需求来分析一下,一切还是要从需求出发,这里的数据处理都是Oracle关系数据库之间的融合,血缘分析就划分为表结构血缘分析和记录级的血缘分析;这两类业务场景:

表结构血缘分析
表结构血缘分析
针对表结构的情况,最终用户和运维用户最需要关注,目标表的每个字段的数据来源有哪些?也就是建立一个源表、源字段和目标表、目标字段的映射关系,一个目标表可以对应多个来源表的字段,比如:姓名字段,可能来至于户籍人口表也可能来至于流动人口表或老年人表,也就是意味着这三张表合并起来的人口,才是这个区域的所有人口.
通过上图我们就可以清楚的看到从目标表的目标字段出发,知道数据库中数据处理的规则,清楚的了解每个字段数据的来源。
至于其中ODS、DWD、DWA的关系,参照上面所述先去了解。

记录级血缘分析
记录级血缘分析
记录级的血缘分析,就是从当前记录出发可以按时间查看该记录所有的变更过程。一条记录的生成可能原始对应两个表的两条记录,这种是要追溯跟踪的。
如果再精细跟踪,就可以做到字段级的血缘分析,与表结构的血缘分析就可以完美呼应。
单击某一个字段,可查看该字段的血缘关系;一个是以此字段为目标的血缘追溯,一个是以此字段为源的血缘追溯
这里就要看具体应用需求来定,毕竟做的越精细实现方案会越复杂。
血缘分析毕竟解决的问题是数据出了错之后能明确知道是哪一步环节的哪个原始数据出问题了,所以一般到记录级就基本可以进行追溯跟踪了。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 各行业企业数据管理遇到的挑战

    各行业企业数据管理遇到的挑战

    目前业界并没有对其概念的统一标准定义,我们可以这么认为,数据治理从本质上看就是对一个机构(企业或政府部门)的数据从收集融合到分析管理和利……查看详情

    发布时间:2020.03.26来源:知乎浏览量:393次

  • 未来我国大数据发展还有哪些机遇和挑战?

    未来我国大数据发展还有哪些机遇和挑战?

    随着信息技术和人类生产生活交汇融合,全球数据呈现爆发增长、海量集聚的特点。无论是国家、企业还是社会公众,都越来越认识到数据的价值。……查看详情

    发布时间:2019.03.18来源:亿信华辰浏览量:418次

  • 数据质量管理策略-从产生数据的源头开始抓

    数据质量管理策略-从产生数据的源头开始抓

    为了改进和提高数据质量,必须从产生数据的源头开始抓起,从管理入手,对数据运行的全过程进行监控,密切关注数据质量的发展和变化,深入研究数据……查看详情

    发布时间:2019.12.27来源:CSDN浏览量:543次

  • 3点告诉你如何正确实现数据治理

    3点告诉你如何正确实现数据治理

    数据驱动需要的不只是的新工具的出现。它需要对数据质量进行投资,以改变有关数据捕获系统的设计和使用方式的行为。……查看详情

    发布时间:2021.05.20来源:亿信数据治理知识库浏览量:445次

  • 数据管理如何支持数据隐私合规性

    数据管理如何支持数据隐私合规性

    已经具备数据治理能力的组织有一个坚实的开端,可以利用它促进数据隐私合规性的许多方面。 ……查看详情

    发布时间:2019.02.13来源:亿信华辰浏览量:450次

  • 没有妥协的数据治理

    没有妥协的数据治理

    在考虑当今现代企业中数据的规模和规模时,显然需要一种全新的数据治理方法。与此同时,数据治理一直是企业范围内的问题 - 而不是大数据特有的……查看详情

    发布时间:2018.11.22来源:数据治理浏览量:469次

  • 善治:良好学校的基础

    善治:良好学校的基础

    包机行业的头号问题是什么?大卫弗兰克认为缺乏董事会治理能力。弗兰克说:“强大的董事会将改善特许学校的许多实践问题,从那些正在努力进入高绩……查看详情

    发布时间:2019.03.06来源:亿信华辰浏览量:402次

  • 数据虚拟化 实现大数据的有效管理

    数据虚拟化 实现大数据的有效管理

    关于在石油天然气的钻探和出产过程中所发生的数据的价值,并没有太多的争议。尽管数字化油田运动的最初意图,是将与设备的监测和维护相关的使命完……查看详情

    发布时间:2019.03.05来源:亿信华辰浏览量:402次

  • 数据管理和物联网

    数据管理和物联网

    数十亿带传感器的东西环绕着人们和他们的生活。这些物联网(IoT)与人,家庭,工厂,工作场所,城市,农场和车辆互动。Gartner预测,到……查看详情

    发布时间:2019.02.20来源:亿信华辰浏览量:493次

  • 数据治理对医疗保健组织来说往往是个谜

    数据治理对医疗保健组织来说往往是个谜

    数据治理对医疗保健组织来说往往是个谜。“它是什么?我该怎么做?我在哪里可以买到它?“它引起了一些想法。 数据治理是一组流程,可确保在整……查看详情

    发布时间:2018.11.23来源:数据治理浏览量:485次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议