数据质量问题的影响因素

发布时间:2020.04.09来源:百度浏览量:664次标签:数据治理

数据质量反映的是数据的“适用性(fitness for use)”,即数据满足使用需要的合适程度。数据质量通过完整性、一致性、准确性、及时性、合法性等多类维度对数据进行度量。数据质量管理的目的是为企业提供洁净、结构清晰的数据,是企业开发业务系统、提供数据服务、发挥数据价值的必要前提,是企业数据资产管理的前提。

数据质量问题按照问题的来源和具体原因,可以分为信息、技术、流程、管理四个问题域。如下图所示。

信息问题域

信息类问题是由于对数据本身的描述理解及其度量标准的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。

技术问题域


技术类问题是指由于具体数据处理的各技术环节的异常造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。数据质量问题的产生环节主要包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面的内容:

1、数据创建质量问题主要包括业务系统数据入库延迟、创建数据默认值使用不当和数据录入的校验规则不当,导致指标统计结果不一致、数据无效、记录重复等。
2、数据获取质量问题主要包括采集点不正确、取数时点不正确以及接口数据在获取过程中失真。如,编码转换处理错误以及精度不够,导致指标统计结果不一致、数据无效等。
3、数据传递质量问题主要包括接口数据及时率低,接口数据漏传,网络传输过程不可靠,如包丢失,文件传输方式错误,传输技术问题,协议使用不当导致的数据不完整等。
4、数据装载质量问题主要包括数据清洗算法、数据转换算法、数据加载算法错误。
5、数据使用质量问题主要包括展示工具使用错误、展示方式不合理和展示周期不合理。
6、数据维护质量问题主要包括数据备份/恢复错误、数据的存储能力有限、维护过程缺乏验证机制和人为后台调整数据。

流程问题域


流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于主题分析数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节:

1、创建流程质量问题主要指操作员数据录入时缺乏审核流程;
2、传递流程质量问题主要指通信流程沟通不畅;
3、装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误;
4、使用流程质量问题主要指数据使用流程缺乏流程管理;
5、维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控;
6、稽核流程质量问题主要指缺乏数据错误反馈流程。

管理问题域


管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题,如人员管理、培训和奖励等方面的措施不当导致的管理缺失。

人员管理所产生的质量问题主要指:
(1)针对数据质量问题,没有建立管理数据质量的专门机构,出现数据质量问题后无专人负责;
(2)没有明确的数据质量目标;
(3)主题分析数据的数据质量问题的优先级不够;
(4)企业缺少管理数据质量的管理办法等;

人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。
上述数据质量问题的影响因素分析,从侧面展示了企业数据一次性达标的困难程度;也反映出关注数据质量的重要性、以及数据质量工作的零散和琐碎的特点。信息、流程和技术三个方面的数据质量问题相对来说,比较容易控制,有可能通过引入数据质量管理体系和数据质量管理系统得到改善;对于管理类的数据质量问题,往往与企业对数据的理解和支持程度紧密相关,需要从数据规划、数据治理的组织与职责、数据规范的制度和流程方面下功夫。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理研究述评

    数据治理研究述评

    数据治理是数据科学时代关注的研究课题,对数据治理的概念、体系、内容和应用的相关研究进行述评,以期将数据治理研究引向深入。……查看详情

    发布时间:2019.08.27来源:南京大学信息管理学院浏览量:299次

  • 简述数据资产管理方案必须注意的6点

    简述数据资产管理方案必须注意的6点

    “数据资产管理”一词,在国内首次由DAMS(中国数据资产管理峰会)组委会正式提出。首届“中国数据资产……查看详情

    发布时间:2020.08.14来源:知乎浏览量:225次

  • 数据治理术语表

    数据治理术语表

    DGI提供了使用非技术语言解释的网络最佳数据相关术语集。在这里,您将找到不仅需要了解数据治理,还需要了解其他类型的程序和项目所需的信息,……查看详情

    发布时间:2019.03.18来源:亿信华辰浏览量:500次

  • 数据资产管理方案之如何让数据化为价值

    数据资产管理方案之如何让数据化为价值

    数据是资产的概念已经成为行业共识。然而现实中,对数据资产的管理和应用往往还处于摸索阶段,数据资产管理面临诸多挑战。主要分为以下三点:1、……查看详情

    发布时间:2020.08.14来源:知乎浏览量:275次

  • 数据治理-从理论到实践(一)

    数据治理-从理论到实践(一)

    数据治理不是一门技术,而是逻辑性很强的理论型学科。……查看详情

    发布时间:2019.08.07来源:CSDN浏览量:205次

  • 数据治理是真实的,是需要的!

    数据治理是真实的,是需要的!

    有许多组织可以很好地管理和管理他们的数据。或者是足够好(无论对每个组织来说意味着什么)。但是,还有其他组织根本不管理和管理他们的数据。他……查看详情

    发布时间:2019.06.19来源:简书浏览量:194次

  • 创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    工业互联网激起能源领域一池春水,新一代信息技术则是其不断发展的加速器。山东能源集团下属临沂矿业集团有限责任公司(以下简称临矿集团)率先在……查看详情

    发布时间:2021.02.04来源:亿信华辰浏览量:461次

  • 数据治理:推动结果的引擎

    数据治理:推动结果的引擎

    组织成功取决于某些与共同业务目标一致的构建块。这些构建块包括业务活动,数据和分析。……查看详情

    发布时间:2019.01.26来源:亿信华辰浏览量:218次

  • 数据治理最佳实践利用大数据

    数据治理最佳实践利用大数据

    大数据时代的新兴技术,如人工智能和物联网,意味着有更多的数据可以从中受益,并且数据治理策略可以管理和保护。……查看详情

    发布时间:2019.06.28来源:知乎浏览量:227次

  • 33篇大数据治理相关文章

    33篇大数据治理相关文章

    33篇大数据治理相关文章,技术+案例一应俱全!……查看详情

    发布时间:2018.10.23来源:今日头条浏览量:198次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议