数据治理与数据质量的关系

发布时间:2018.11.29来源:知乎浏览量:66次标签:数据治理

单纯从数据层面来看,数据体系包括治理、管理和应用三个部分。治理是负责解决人与人之间的事,管理负责各个职能领域,应用则是价值的实现。不讨论基础层,iaas层,只讨论数据视角的事情。


数据管理里面数据质量dq是人与人矛盾分歧最大的职能域,所以也配置全套的数据治理手段。细节不多谈,这方面理论和实践都比较成熟,但效果差强人意。现在讨论大数据,应该和场景关联起来;同样数据质量和业务需求和技术方案密切相关。数据质量管理开展的驱动因素比较复杂,银行里面里面的驱动因素第一是监管,第二是内部的数据治/管理(比如标准),第三才是数据应用。


举个典型案例,比如同一业务指标在不同系统间的结果不一致。这个分析起来要看从业务定义开始,到数据采集、加工处理、应用各个环节;影响范围也会比较广,比如对监管、对决策;从数据体系职能域看呢,又会和数据治理、数据标准、数据架构有关联。


从数据生产者、使用者的角度都存在潜在的问题,流程、标准不一致也是导致问题的原因,所以数据质量的讨论往往比较复杂琐碎。有个简化的思路就是quality = fitness for purpose,是否有问题,关键看是谁的什么purpose。大数据背景下补充两个dq属性,一个是可链接性,内外部数据的关联整合;另一个是真实性,这是传统dq未曾参与或者说积极回避的事情。真实性实在是难啊,直接就可以成为i数据挖掘、人工智能的应用案例;相比之下关联整合现在做的还比较多。现在更愿意采用fitness for purpose也是短期效益迫使的缘故,数据质量的长期效益往往难以实现、也难以证明。


数据质量是综合表现,原因错综复杂。数据治理是王婆娘的裹脚布,也是政治斗争的绞肉机。治理与管理都存在矛盾,跟别说与应用之间的关系了。传说国外企业的CDO往往三年就要更换东家,也就很容易理解了。


归根结底都要落到人的因素上,数据的管理与应用是客户因素占比大,还是主管因素占比大呢?我想大家心里都有谱,所以试图依赖技术手段解决管理问题终归都会失效。


回到开头的问题,治理、管理都是细腻的事情,需要工匠化反复锤炼,还有长期不受重视的困惑,这些都对从业者是巨大的挑战。对我个人来言,我更愿意去在大数据实践中讨论治理、管理与应用的融合,换句话说就是价值导向驱动数据体系的运转。这样的视角下,可以研究的问题就会很多,并且目标会更精准一下。相比原来试图从底层解决治理、管理问题的思路要务实一些。另外就是可以持续探索新技术了,人工智能、区块链都是目光所及范围之内的内容。



(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据质量分析定义的六个阶段

    数据质量分析定义的六个阶段

    企业数据质量治理对象一般主要包括两类数据:一类是操作型数据,例如:主数据、参照数据和交易数据。……查看详情

    发布时间:2019.12.06来源:知乎浏览量:94次

  • 企业数据质量管理的核心要素和技术原则

    企业数据质量管理的核心要素和技术原则

    “十三五”,规划提出了国家的大数据战略,指出了企业实现以数字化驱动业务发展,实现数据开放共享,创新业务发展的新思路。现阶段大中型企业已经……查看详情

    发布时间:2020.01.09来源:CSDN浏览量:126次

  • 数据治理和数据管理不可互换

    数据治理和数据管理不可互换

    从什么时候开始数据管理和数据治理可以互换? 这个问题让我感到困惑和沮丧。追求数据管理供应商与业务利益相关者建立联系,因为业务部门在决策……查看详情

    发布时间:2018.11.20来源:Michele Goetz浏览量:83次

  • 数据集成的原理

    数据集成的原理

    在Experian Data Quality上多次使用这个类比,但这仅仅是因为它在引用数据标准化时非常有意义。 数据标准化只是构建……查看详情

    发布时间:2018.12.29来源:数据治理浏览量:82次

  • 数据与数据治理两个基本概念

    数据与数据治理两个基本概念

    数据治理这项基础数据能力的重要性越来越多突出。2017年4月22日,中国数据标准化及治理奖实践奖的现场评审在清华大学成功举行。……查看详情

    发布时间:2018.11.30来源:御数坊浏览量:97次

  • 金融行业数据治理与安全防护解决方案

    金融行业数据治理与安全防护解决方案

    在金融业各类涉及商业秘密和敏感数据的信息在处理、共享和使用过程中面临违规越权使用或被用于非法用途等数据泄漏的安全风险。一方面,数据处理过……查看详情

    发布时间:2019.09.30来源:CSDN浏览量:89次

  • 主数据管理的三个关键成功因素

    主数据管理的三个关键成功因素

    随着主数据管理解决方案市场的不断成熟,越来越清楚的是,主数据管理的程序管理方面至少与所实施的技术解决方案同样重要,甚至更为重要。那么,主……查看详情

    发布时间:2021.05.28来源:亿信数据治理知识库浏览量:104次

  • 最终有人把数据治理的元数据、主数据等概念讲明白了

    最终有人把数据治理的元数据、主数据等概念讲明白了

    数据治理就是以服务组织战略目标为基本原则,通过组织成员的协同努力,流程制度的制定,以及数据资产的梳理、采集清洗、结构化存储、可视化管理和……查看详情

    发布时间:2022.06.24来源:小亿浏览量:177次

  • 什么是数据质量?如何衡量它以获得最佳结果?

    什么是数据质量?如何衡量它以获得最佳结果?

    我们过去谈过很多关于数据质量的问题 - 包括糟糕数据的成本。但是,尽管对数据质量有了基本的了解,但许多人仍然不太了解“质量”究竟是什么意……查看详情

    发布时间:2018.12.25来源:数据治理浏览量:110次

  • 大数据时代 这样炼钢——亿信华辰

    大数据时代 这样炼钢——亿信华辰

    铁流滚滚,四溅迸射出绚丽的火花。经过1个多小时的高温淬炼,高达1500摄氏度的铁水从出铁口喷涌而出,像一条火龙沿着沟槽蜿蜒流动。……查看详情

    发布时间:2019.02.12来源:亿信华辰浏览量:120次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议