数据治理与数据质量

发布时间:2019.01.03来源:Magic浏览量:52次标签:数据治理

单纯从数据层面来看,数据体系包括治理、管理和应用三个部分。治理是负责解决人与人之间的事,管理负责各个职能领域,应用则是价值的实现。不讨论基础层,iaas层,只讨论数据视角的事情。

数据管理里面数据质量dq是人与人矛盾分歧最大的职能域,所以也配置全套的数据治理手段。细节不多谈,这方面理论和实践都比较成熟,但效果差强人意。现在讨论大数据,应该和场景关联起来;同样数据质量和业务需求和技术方案密切相关。数据质量管理开展的驱动因素比较复杂,银行里面里面的驱动因素第一是监管,第二是内部的数据治/管理(比如标准),第三才是数据应用。

举个典型案例,比如同一业务指标在不同系统间的结果不一致。这个分析起来要看从业务定义开始,到数据采集、加工处理、应用各个环节;影响范围也会比较广,比如对监管、对决策;从数据体系职能域看呢,又会和数据治理、数据标准、数据架构有关联。

从数据生产者、使用者的角度都存在潜在的问题,流程、标准不一致也是导致问题的原因,所以数据质量的讨论往往比较复杂琐碎。有个简化的思路就是quality = fitness for purpose,是否有问题,关键看是谁的什么purpose。大数据背景下补充两个dq属性,一个是可链接性,内外部数据的关联整合;另一个是真实性,这是传统dq未曾参与或者说积极回避的事情。真实性实在是难啊,直接就可以成为i数据挖掘、人工智能的应用案例;相比之下关联整合现在做的还比较多。现在更愿意采用fitness for purpose也是短期效益迫使的缘故,数据质量的长期效益往往难以实现、也难以证明。

数据质量是综合表现,原因错综复杂。数据治理是王婆娘的裹脚布,也是政治斗争的绞肉机。治理与管理都存在矛盾,跟别说与应用之间的关系了。传说国外企业的CDO往往三年就要更换东家,也就很容易理解了。

归根结底都要落到人的因素上,数据的管理与应用是客户因素占比大,还是主管因素占比大呢?我想大家心里都有谱,所以试图依赖技术手段解决管理问题终归都会失效。

回到开头的问题,治理、管理都是细腻的事情,需要工匠化反复锤炼,还有长期不受重视的困惑,这些都对从业者是巨大的挑战。对我个人来言,我更愿意去在大数据实践中讨论治理、管理与应用的融合,换句话说就是价值导向驱动数据体系的运转。这样的视角下,可以研究的问题就会很多,并且目标会更精准一下。相比原来试图从底层解决治理、管理问题的思路要务实一些。另外就是可以持续探索新技术了,人工智能、区块链都是目光所及范围之内的内容。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 可量身定制的数据治理平台

    可量身定制的数据治理平台

    在大数据浪潮下,大数据平台建设如火如荼,大数据平台建设本质上是数据的建设。由于数据量逐渐庞大导致的一系列问题,使很多用户意识到数据治理的……查看详情

    发布时间:2019.11.22来源:CSDN浏览量:113次

  • 企业数据治理的十个最佳实践

    企业数据治理的十个最佳实践

    任何企业实施数据治理都不是为了治理数据而治理数据,其背后都是管理和业务目标的驱动。企业中普遍存在的数据质量问题有:数据不一致、数据重复、……查看详情

    发布时间:2020.07.02来源:知乎浏览量:146次

  • 4+7集采进入大数据时代,科技巨头驱动医药行业大变局

    4+7集采进入大数据时代,科技巨头驱动医药行业大变局

    未来的医疗大数据将影响整个医药产业格局。 根据国家医保局及“4+7”带量采购发布的文件,包括天津、大连、沈阳等城市药品带量采购细则……查看详情

    发布时间:2019.03.28来源:亿信华辰浏览量:51次

  • 企业架构与数据治理:探索链接

    企业架构与数据治理:探索链接

    从公司意义上讲,创新管理是通过采用创新的想法,产品,流程和业务模型,快速有效地实现组织目标。大多数组织开始意识到,为了推动业务增长并保持……查看详情

    发布时间:2019.02.19来源:亿信华辰浏览量:97次

  • 数据管理危险:不到一半的MDM计划是有效的

    数据管理危险:不到一半的MDM计划是有效的

    您可能不认为“数据治理”是一个重要的主题。特别是当你的IT预算火灾肆虐或者你计划下周的裁员时。……查看详情

    发布时间:2018.12.29来源:亿信华辰浏览量:67次

  • 如何数据标准应对这些难题

    如何数据标准应对这些难题

    应对数据标准这些难题,最经济、最理想的模式当然是:做大数据建设,首先做标准,再做大数据平台,数据仓库等。但一般的不大可能有这样的认识,很……查看详情

    发布时间:2020.11.13来源:知乎浏览量:91次

  • 大数据时代,用户不能成为“透明人”!

    大数据时代,用户不能成为“透明人”!

    移动互联网时代,智能手机如同人的体外器官,而手机上安装的APP就像组成细胞。可以说,过好移动生活,首先从用好智能手机的APP开始。……查看详情

    发布时间:2019.04.04来源:大数据浏览量:68次

  • 数字健康治理:21世纪数字经济的管理与战略

    数字健康治理:21世纪数字经济的管理与战略

    数字化健康技术,解决方案和决策方法正在改变医疗保健的提供,重塑患者(和健康消费者)的期望,并为健康计划,卫生系统,信息公司和其他利益相关……查看详情

    发布时间:2018.11.21来源:数字健康治理浏览量:84次

  • 数据治理的注意事项

    数据治理的注意事项

    我看到组织在开始他们的数据治理之旅时犯的一个重大错误就是忘记了数据背后的基本原理。因此,不要仅仅治理治理。无论您是需要将风险降至最低还是……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:84次

  • 企业怎样建立完整的数据治理体系?

    企业怎样建立完整的数据治理体系?

    大数据智能时代,管理不再是传统的做法,一套完善的数据管理体系是企业长远要生存的必须择决。我们的生活已经离不开大数据,企业的数据管理不仅能……查看详情

    发布时间:2020.03.26来源:知乎浏览量:67次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议