数据治理与数据质量的关系

发布时间:2018.11.29来源:知乎浏览量:2次标签:数据治理

单纯从数据层面来看,数据体系包括治理、管理和应用三个部分。治理是负责解决人与人之间的事,管理负责各个职能领域,应用则是价值的实现。不讨论基础层,iaas层,只讨论数据视角的事情。


数据管理里面数据质量dq是人与人矛盾分歧最大的职能域,所以也配置全套的数据治理手段。细节不多谈,这方面理论和实践都比较成熟,但效果差强人意。现在讨论大数据,应该和场景关联起来;同样数据质量和业务需求和技术方案密切相关。数据质量管理开展的驱动因素比较复杂,银行里面里面的驱动因素第一是监管,第二是内部的数据治/管理(比如标准),第三才是数据应用。


举个典型案例,比如同一业务指标在不同系统间的结果不一致。这个分析起来要看从业务定义开始,到数据采集、加工处理、应用各个环节;影响范围也会比较广,比如对监管、对决策;从数据体系职能域看呢,又会和数据治理、数据标准、数据架构有关联。


从数据生产者、使用者的角度都存在潜在的问题,流程、标准不一致也是导致问题的原因,所以数据质量的讨论往往比较复杂琐碎。有个简化的思路就是quality = fitness for purpose,是否有问题,关键看是谁的什么purpose。大数据背景下补充两个dq属性,一个是可链接性,内外部数据的关联整合;另一个是真实性,这是传统dq未曾参与或者说积极回避的事情。真实性实在是难啊,直接就可以成为i数据挖掘、人工智能的应用案例;相比之下关联整合现在做的还比较多。现在更愿意采用fitness for purpose也是短期效益迫使的缘故,数据质量的长期效益往往难以实现、也难以证明。


数据质量是综合表现,原因错综复杂。数据治理是王婆娘的裹脚布,也是政治斗争的绞肉机。治理与管理都存在矛盾,跟别说与应用之间的关系了。传说国外企业的CDO往往三年就要更换东家,也就很容易理解了。


归根结底都要落到人的因素上,数据的管理与应用是客户因素占比大,还是主管因素占比大呢?我想大家心里都有谱,所以试图依赖技术手段解决管理问题终归都会失效。


回到开头的问题,治理、管理都是细腻的事情,需要工匠化反复锤炼,还有长期不受重视的困惑,这些都对从业者是巨大的挑战。对我个人来言,我更愿意去在大数据实践中讨论治理、管理与应用的融合,换句话说就是价值导向驱动数据体系的运转。这样的视角下,可以研究的问题就会很多,并且目标会更精准一下。相比原来试图从底层解决治理、管理问题的思路要务实一些。另外就是可以持续探索新技术了,人工智能、区块链都是目光所及范围之内的内容。



(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 为什么数据治理对企业这么重要?

    为什么数据治理对企业这么重要?

    现在很多企业都有自己的数据治理计划,从而更便捷的管理企业,那么所谓的数据治理其实就是我们常说的数据分析,将零散的数据汇总起来,进行统一的……查看详情

    发布时间:2019.07.17来源:知乎浏览量:2次

  • 用于指导金融行业开展大数据基础平台建设技术类标准

    用于指导金融行业开展大数据基础平台建设技术类标准

    技术类标准用于指导金融行业开展大数据基础平台建设。大数据技术本身涉及内容广泛,既包含大数据平台本身的基础软件和各类功能组件,又包括基于业……查看详情

    发布时间:2019.12.27来源:CSDN浏览量:3次

  • 金融业的数据治理重要开端:数据流入

    金融业的数据治理重要开端:数据流入

    随着科技的发展,当今社会已经进入到了信息时代的下一阶段,“数据时代”,大数据成为了众多行业的风口,数据自然而然便……查看详情

    发布时间:2019.01.04来源:尼锅浏览量:1次

  • 数据标准在数据资产管理中的意义

    数据标准在数据资产管理中的意义

    随着大数据的持续升温,数据资产管理近年来成为政府和企业领导层特别关注的领域。在谈数据的价值之前,必须先说清楚所谈论的数据资产都有那些,都……查看详情

    发布时间:2019.12.19来源:知乎浏览量:3次

  • 数据治理面临的挑战

    数据治理面临的挑战

    本部分的内容将数据治理面临的挑战分为两类,一类因“技术”而起,一类因“人”而起。由客观的技术问题对数据治理带来的挑战普遍较好解决,比如如……查看详情

    发布时间:2019.11.01来源:知乎浏览量:1次

  • 数据治理(R)演变

    数据治理(R)演变

    数据治理继续发展 - 并且很快。……查看详情

    发布时间:2019.02.15来源:亿信华辰浏览量:2次

  • 治理与管理的区别

    治理与管理的区别

    简而言之,董事会负责监督,规划和管理负责日常运营。每个部分的职责和责任细分更为广泛。无论您采用广泛还是狭隘的方法来处理治理和管理之间的差……查看详情

    发布时间:2019.03.15来源:亿信华辰浏览量:1次

  • 银行业数据治理还面临着四方面的挑战

    银行业数据治理还面临着四方面的挑战

    一是数据整合度不高。银行内部数据虽多,涉及各个业务条线、各个部门,但未经系统化的治理,数据分布零散化,搜集整合存在错配,未能实现大数据集……查看详情

    发布时间:2019.11.29来源:知乎浏览量:2次

  • 元数据到元数据治理,这一篇文章就够了

    元数据到元数据治理,这一篇文章就够了

    “元数据管理是企业数据治理的基础”,在数据治理战略实施的时候,这是我们经常会听到看到的一句话。但是,数据治理的概念在国内还并未普及,如何……查看详情

    发布时间:2020.08.14来源:亿信华辰浏览量:1次

  • 银行的数据治理最佳实践

    银行的数据治理最佳实践

    数据治理本身分狭义和广义两个区别,狭义的治理主要是组织、制度、流程这些,data governance的一个定义就是 the manag……查看详情

    发布时间:2018.11.29来源:知乎浏览量:3次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议