数据治理与数据质量

发布时间:2019.01.03来源:Magic浏览量:89次标签:数据治理

单纯从数据层面来看,数据体系包括治理、管理和应用三个部分。治理是负责解决人与人之间的事,管理负责各个职能领域,应用则是价值的实现。不讨论基础层,iaas层,只讨论数据视角的事情。

数据管理里面数据质量dq是人与人矛盾分歧最大的职能域,所以也配置全套的数据治理手段。细节不多谈,这方面理论和实践都比较成熟,但效果差强人意。现在讨论大数据,应该和场景关联起来;同样数据质量和业务需求和技术方案密切相关。数据质量管理开展的驱动因素比较复杂,银行里面里面的驱动因素第一是监管,第二是内部的数据治/管理(比如标准),第三才是数据应用。

举个典型案例,比如同一业务指标在不同系统间的结果不一致。这个分析起来要看从业务定义开始,到数据采集、加工处理、应用各个环节;影响范围也会比较广,比如对监管、对决策;从数据体系职能域看呢,又会和数据治理、数据标准、数据架构有关联。

从数据生产者、使用者的角度都存在潜在的问题,流程、标准不一致也是导致问题的原因,所以数据质量的讨论往往比较复杂琐碎。有个简化的思路就是quality = fitness for purpose,是否有问题,关键看是谁的什么purpose。大数据背景下补充两个dq属性,一个是可链接性,内外部数据的关联整合;另一个是真实性,这是传统dq未曾参与或者说积极回避的事情。真实性实在是难啊,直接就可以成为i数据挖掘、人工智能的应用案例;相比之下关联整合现在做的还比较多。现在更愿意采用fitness for purpose也是短期效益迫使的缘故,数据质量的长期效益往往难以实现、也难以证明。

数据质量是综合表现,原因错综复杂。数据治理是王婆娘的裹脚布,也是政治斗争的绞肉机。治理与管理都存在矛盾,跟别说与应用之间的关系了。传说国外企业的CDO往往三年就要更换东家,也就很容易理解了。

归根结底都要落到人的因素上,数据的管理与应用是客户因素占比大,还是主管因素占比大呢?我想大家心里都有谱,所以试图依赖技术手段解决管理问题终归都会失效。

回到开头的问题,治理、管理都是细腻的事情,需要工匠化反复锤炼,还有长期不受重视的困惑,这些都对从业者是巨大的挑战。对我个人来言,我更愿意去在大数据实践中讨论治理、管理与应用的融合,换句话说就是价值导向驱动数据体系的运转。这样的视角下,可以研究的问题就会很多,并且目标会更精准一下。相比原来试图从底层解决治理、管理问题的思路要务实一些。另外就是可以持续探索新技术了,人工智能、区块链都是目光所及范围之内的内容。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理在有效合规计划中的作用

    数据治理在有效合规计划中的作用

    有效的合规计划由许多活动部分组成。关键数据来自运行操作所需的各种工具,文档,系统和技术。因此,企业在试图获得任何特定时间的风险状况的完整……查看详情

    发布时间:2018.12.20来源:亿信华辰浏览量:137次

  • 大数据共享交换平台的功能需求

    大数据共享交换平台的功能需求

    大数据平台是集开发、配置、部署、管理、监控、安全于一体的数据交换全生命周期管理的数据交换平台。平台可快速构建、运行和管理分布式应用系统间……查看详情

    发布时间:2022.05.18来源:小亿浏览量:371次

  • 数据治理框架:它是什么,我已经拥有它?

    数据治理框架:它是什么,我已经拥有它?

    由于第一个人在第一台计算机上打开了电源开关,IT和业务部门已决定如何处理由技术使用和创建的数据。虽然您不再提交穿孔卡或存档磁带(可能),……查看详情

    发布时间:2018.12.27来源:数据治理浏览量:141次

  • 如何保证数据质量?针对性业务方面的数据质量如何提升

    如何保证数据质量?针对性业务方面的数据质量如何提升

    平时企业都会处理数据质量的问题,越来越能够懂得数据库整套系统的运行模式和模型概念,深深觉得数据挖掘的本质其实不仅仅是从海量的数据中发现有……查看详情

    发布时间:2019.11.15来源:知乎浏览量:150次

  • 在信息治理中处于领先地位

    在信息治理中处于领先地位

    随着这一关键战略的出现,应对最新的信息治理,以应对医疗保健领域的众多信息管理挑战。本博客将重点介绍IG为确保将信息视为组织资产而提出的趋……查看详情

    发布时间:2018.11.21来源:信息治理浏览量:121次

  • 大数据治理需要具备哪些能力和关键技术

    大数据治理需要具备哪些能力和关键技术

    从企业的数据资产管理和提升数据质量等的数据应用上,大数据治理的内容在不断地发展和完善,在其落地实施的过程中面临着巨大的挑战。我们现在通过……查看详情

    发布时间:2019.08.13来源:知乎浏览量:123次

  • 亿信华辰亮相2018智慧校园广州论坛 共探教育数据治理

    亿信华辰亮相2018智慧校园广州论坛 共探教育数据治理

    近20位行业大咖和领导,来自全国451所学校的1386位教育信息化专家、院校领导及企业负责人参与了此次大会,针对服务治理、数据治理、高等……查看详情

    发布时间:2018.10.15来源:亿信华辰浏览量:88次

  • 数据治理—构建你的数据屏障

    数据治理—构建你的数据屏障

    在快速发展的技术,大数据和高级分析的时代,数据治理在每个组织中都发挥着至关重要的作用,无论规模大小或行业如何。从定义元数据管理指南,到解……查看详情

    发布时间:2019.06.28来源:知乎浏览量:116次

  • 云管理与云治理

    云管理与云治理

    混合云或多云已成为当今组织IT战略的重要组成部分。作为多云战略的一部分,组织需要定义如何在多个云中管理,控制,操作,优化和保护云基础架构……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:167次

  • 数据治理工具那么多,如何选择适合自己企业的呢?

    数据治理工具那么多,如何选择适合自己企业的呢?

    随着互联网技术的不断发展,人们获取、收集信息的渠道也越来越多样化,各种搜索引擎、通讯工具、社交网站等普及应用,使得数据信息呈迅速增长趋势……查看详情

    发布时间:2019.07.26来源:知乎浏览量:114次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议