数据治理与数据质量
发布时间:2019.01.03来源:Magic浏览量:46次标签:数据治理
单纯从数据层面来看,数据体系包括治理、管理和应用三个部分。治理是负责解决人与人之间的事,管理负责各个职能领域,应用则是价值的实现。不讨论基础层,iaas层,只讨论数据视角的事情。
数据管理里面数据质量dq是人与人矛盾分歧最大的职能域,所以也配置全套的数据治理手段。细节不多谈,这方面理论和实践都比较成熟,但效果差强人意。现在讨论大数据,应该和场景关联起来;同样数据质量和业务需求和技术方案密切相关。数据质量管理开展的驱动因素比较复杂,银行里面里面的驱动因素第一是监管,第二是内部的数据治/管理(比如标准),第三才是数据应用。
举个典型案例,比如同一业务指标在不同系统间的结果不一致。这个分析起来要看从业务定义开始,到数据采集、加工处理、应用各个环节;影响范围也会比较广,比如对监管、对决策;从数据体系职能域看呢,又会和数据治理、数据标准、数据架构有关联。
从数据生产者、使用者的角度都存在潜在的问题,流程、标准不一致也是导致问题的原因,所以数据质量的讨论往往比较复杂琐碎。有个简化的思路就是quality = fitness for purpose,是否有问题,关键看是谁的什么purpose。大数据背景下补充两个dq属性,一个是可链接性,内外部数据的关联整合;另一个是真实性,这是传统dq未曾参与或者说积极回避的事情。真实性实在是难啊,直接就可以成为i数据挖掘、人工智能的应用案例;相比之下关联整合现在做的还比较多。现在更愿意采用fitness for purpose也是短期效益迫使的缘故,数据质量的长期效益往往难以实现、也难以证明。
数据质量是综合表现,原因错综复杂。数据治理是王婆娘的裹脚布,也是政治斗争的绞肉机。治理与管理都存在矛盾,跟别说与应用之间的关系了。传说国外企业的CDO往往三年就要更换东家,也就很容易理解了。
归根结底都要落到人的因素上,数据的管理与应用是客户因素占比大,还是主管因素占比大呢?我想大家心里都有谱,所以试图依赖技术手段解决管理问题终归都会失效。
回到开头的问题,治理、管理都是细腻的事情,需要工匠化反复锤炼,还有长期不受重视的困惑,这些都对从业者是巨大的挑战。对我个人来言,我更愿意去在大数据实践中讨论治理、管理与应用的融合,换句话说就是价值导向驱动数据体系的运转。这样的视角下,可以研究的问题就会很多,并且目标会更精准一下。相比原来试图从底层解决治理、管理问题的思路要务实一些。另外就是可以持续探索新技术了,人工智能、区块链都是目光所及范围之内的内容。
-
知否?知否?如何利用元数据管理数据资产
如今,各大企业都在关心数据该如何使用,但大数据应用的前提是有高质量的数据。而很多企业内部数据形态多样,标准不统一,大数据应用往往得从数据……查看详情发布时间:2020.09.18来源:知乎浏览量:93次
-
数据治理项目的实现需要的核心要素之一
数据治理是长期、复杂的工程,每个数据治理的领域都可作为一个独立方向进行研究,目前总结的数据治理领域包括但不限于以下内容:数据标准、数据模……查看详情发布时间:2020.03.26来源:知乎浏览量:60次
-
“安全”与“共享”同行,大数据正改变着世界
什么是大数据?早在2011年,世界著名咨询公司麦肯锡就曾在《大数据:下一个创新、竞争和生产力的前沿》报告中对其进行了基础定义:“大数据是……查看详情发布时间:2019.01.14来源:亿信华辰浏览量:86次
-
“五方面发力”提升银行业的数据治理能力
随着英国、欧盟等国家和地区纷纷推行开放银行模式以及相关监管政策逐渐落地,开放银行正成为世界银行业发展的新趋势,备受关注。……查看详情发布时间:2019.11.29来源:知乎浏览量:76次
-
银行的数据治理最佳实践
数据治理本身分狭义和广义两个区别,狭义的治理主要是组织、制度、流程这些,data governance的一个定义就是 the manag……查看详情发布时间:2018.11.29来源:知乎浏览量:88次
-
银行数据治理-数据治理是银行业面对的一个崭新课题
本书是“银行业信息化丛书”之一,数据治理是银行业面对的一个崭新课题,本书从银行业数据基本概况、数据治理现状,以及银行业数据治理体系、数据……查看详情发布时间:2018.11.29来源:数据治理浏览量:87次
-
企业数据标准管理的内容
笔者理解:数据标准是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换……查看详情发布时间:2020.11.13来源:知乎浏览量:61次
-
加强数据治理-浅析企业数据治理机制
数据治理是对企业数据资产管理行使权力和控制的活动集合(规划、监控和执行),是建立企业数据管理制度、指导企业执行数据规划、数据环境建设、数……查看详情发布时间:2018.12.07来源:浏览量:87次