数据治理系列5:浅谈数据质量管理

发布时间:2019.12.06来源:CSDN浏览量:235次标签:数据治理

数据质量管理是对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理的终极目标是通过可靠的数据提升数据在使用中的价值,并最终为企业赢得经济效益。

数据质量管理不单纯是一个概念,也不单纯是一项技术、也不单纯是一个系统,更不单纯是一套管理流程,数据质量管理是一个集方法论、技术、业务和管理为一体的解决方案。通过有效的数据质量控制手段,进行数据的管理和控制,消除数据质量问题进而提升企业数据变现的能力。在数据治理过程中,一切业务、技术和管理活动都围绕这个目标和开展。

一、数据质量问题盘点

接下来我们盘点下企业一般都会遇到哪些数据质量问题:


数据真实性:数据必须真实准确的反映客观的实体存在或真实的业务,真实可靠的原始统计数据是企业统计工作的灵魂,是一切管理工作的基础,是经营者进行正确经营决策必不可少的第一手资料。

数据准确性:准确性也叫可靠性,是用于分析和识别哪些是不准确的或无效的数据,不可靠的数据可能会导致严重的问题,会造成有缺陷的方法和糟糕的决策。

数据唯一性:用于识别和度量重复数据、冗余数据。重复数据是导致业务无法协同、流程无法追溯的重要因素,也是数据治理需要解决的最基本的数据问题。

数据完整性:数据完整性问题包括:模型设计不完整,例如:唯一性约束不完整、参照不完整;数据条目不完整,例如:数据记录丢失或不可用;数据属性不完整,例如:数据属性空值。不完整的数据所能借鉴的价值就会大大降低,也是数据质量问题最为基础和常见的一类问题。

数据一致性:多源数据的数据模型不一致,例如:命名不一致、数据结构不一致、约束规则不一致。数据实体不一致,例如:数据编码不一致、命名及含义不一致、分类层次不一致、生命周期不一致……。相同的数据有多个副本的情况下的数据不一致、数据内容冲突的问题。

数据关联性:数据关联性问题是指存在数据关联的数据关系缺失或错误,例如:函数关系、相关系数、主外键关系、索引关系等。存在数据关联性问题,会直接影响数据分析的结果,进而影响管理决策。

数据及时性:数据的及时性(In-time)是指能否在需要的时候获到数据,数据的及时性与企业的数据处理速度及效率有直接的关系,是影响业务处理和管理效率的关键指标。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 中国“大数据转型”引人关注:万亿市场可期 地方密集发力

    中国“大数据转型”引人关注:万亿市场可期 地方密集发力

    以人工智能、大数据、云计算为代表的信息产业,正在成为地方经济发展的新亮点。以大数据产业为例,过去一段时间以来,各地已陆续释放了推动该产业……查看详情

    发布时间:2019.02.26来源:亿信华辰浏览量:178次

  • 为什么我们需要数据仓库

    为什么我们需要数据仓库

    如果直接从业务数据库取数据没有数据仓库时,我们需要直接从业务数据库中取数据来做分析。业务数据库主要是为业务操作服务,虽然可以用于分析,但……查看详情

    发布时间:2019.01.07来源:LongFei浏览量:196次

  • 说说银行业信息部数据治理的体验

    说说银行业信息部数据治理的体验

    数据治理本身分狭义和广义两个区别,狭义的治理主要是组织、制度、流程这些,datagovernance的一个定义就是themanageme……查看详情

    发布时间:2020.02.21来源:知乎浏览量:191次

  • 数据资产管理领域重要的三个方向

    数据资产管理领域重要的三个方向

    数据资产管理领域重要的三个方向包括:资产分析、资产治理、资产应用,并需要基于这三个方向的技术研究和实战,将流程、经验、标准和规范等产品化……查看详情

    发布时间:2020.11.06来源:知乎浏览量:173次

  • 政府数据治理的国际经验与启示

    政府数据治理的国际经验与启示

    政府数据治理是当前政府信息管理研究的热点问题,对发达国家政府数据治理经验的总结有助于把握政府数据治理的普遍规律,推动我国政府数据的开发利……查看详情

    发布时间:2018.10.23来源:信息资源管理学报浏览量:237次

  • 数据治理实践与应用场景:治理的应用拓展与价值实现

    数据治理实践与应用场景:治理的应用拓展与价值实现

    数据治理体系是构建完善、共享、统一管理数据的基本保障和重要组成部分,是把数据当作自测来管理的有效手段。……查看详情

    发布时间:2019.09.09来源:知乎浏览量:220次

  • 银行的数据治理最佳实践

    银行的数据治理最佳实践

    数据治理本身分狭义和广义两个区别,狭义的治理主要是组织、制度、流程这些,data governance的一个定义就是 the manag……查看详情

    发布时间:2018.11.29来源:知乎浏览量:242次

  • 人工智能商业化提速 创新奇智瞄准三大场景万亿市场

    人工智能商业化提速 创新奇智瞄准三大场景万亿市场

    “接下来的AI投资就是要去跟中国各行各业进行结合,把中国的后端效率大幅改进。而这个机会将不会小于过去几年阿里、腾讯那些前端的互联网巨头所……查看详情

    发布时间:2019.01.27来源:亿信华辰浏览量:209次

  • 数据治理项目的实现需要的核心要素之一

    数据治理项目的实现需要的核心要素之一

    数据治理是长期、复杂的工程,每个数据治理的领域都可作为一个独立方向进行研究,目前总结的数据治理领域包括但不限于以下内容:数据标准、数据模……查看详情

    发布时间:2020.03.26来源:知乎浏览量:168次

  • 数据质量问题的影响因素

    数据质量问题的影响因素

    数据质量反映的是数据的“适用性(fitness for use)”,即数据满足使用需要的合适程度。数据质量通过完整性、一致性、准确性、及……查看详情

    发布时间:2020.04.09来源:百度浏览量:676次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议