数据质量问题的影响因素

发布时间:2020.04.09来源:百度浏览量:2次标签:数据治理

数据质量反映的是数据的“适用性(fitness for use)”,即数据满足使用需要的合适程度。数据质量通过完整性、一致性、准确性、及时性、合法性等多类维度对数据进行度量。数据质量管理的目的是为企业提供洁净、结构清晰的数据,是企业开发业务系统、提供数据服务、发挥数据价值的必要前提,是企业数据资产管理的前提。

数据质量问题按照问题的来源和具体原因,可以分为信息、技术、流程、管理四个问题域。如下图所示。

信息问题域

信息类问题是由于对数据本身的描述理解及其度量标准的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。

技术问题域


技术类问题是指由于具体数据处理的各技术环节的异常造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。数据质量问题的产生环节主要包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面的内容:

1、数据创建质量问题主要包括业务系统数据入库延迟、创建数据默认值使用不当和数据录入的校验规则不当,导致指标统计结果不一致、数据无效、记录重复等。
2、数据获取质量问题主要包括采集点不正确、取数时点不正确以及接口数据在获取过程中失真。如,编码转换处理错误以及精度不够,导致指标统计结果不一致、数据无效等。
3、数据传递质量问题主要包括接口数据及时率低,接口数据漏传,网络传输过程不可靠,如包丢失,文件传输方式错误,传输技术问题,协议使用不当导致的数据不完整等。
4、数据装载质量问题主要包括数据清洗算法、数据转换算法、数据加载算法错误。
5、数据使用质量问题主要包括展示工具使用错误、展示方式不合理和展示周期不合理。
6、数据维护质量问题主要包括数据备份/恢复错误、数据的存储能力有限、维护过程缺乏验证机制和人为后台调整数据。

流程问题域


流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于主题分析数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节:

1、创建流程质量问题主要指操作员数据录入时缺乏审核流程;
2、传递流程质量问题主要指通信流程沟通不畅;
3、装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误;
4、使用流程质量问题主要指数据使用流程缺乏流程管理;
5、维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控;
6、稽核流程质量问题主要指缺乏数据错误反馈流程。

管理问题域


管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题,如人员管理、培训和奖励等方面的措施不当导致的管理缺失。

人员管理所产生的质量问题主要指:
(1)针对数据质量问题,没有建立管理数据质量的专门机构,出现数据质量问题后无专人负责;
(2)没有明确的数据质量目标;
(3)主题分析数据的数据质量问题的优先级不够;
(4)企业缺少管理数据质量的管理办法等;

人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。
上述数据质量问题的影响因素分析,从侧面展示了企业数据一次性达标的困难程度;也反映出关注数据质量的重要性、以及数据质量工作的零散和琐碎的特点。信息、流程和技术三个方面的数据质量问题相对来说,比较容易控制,有可能通过引入数据质量管理体系和数据质量管理系统得到改善;对于管理类的数据质量问题,往往与企业对数据的理解和支持程度紧密相关,需要从数据规划、数据治理的组织与职责、数据规范的制度和流程方面下功夫。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理与数据质量有何不同?

    数据治理与数据质量有何不同?

    当我们听到数据管理这些词时,“ 数据质量 ”和“数据治理” 这两个术语出现了很多,它们应该是因为这些是确保组织以最佳方式利用其信息的重要……查看详情

    发布时间:2019.06.25来源:知乎浏览量:3次

  • 数据治理—审计委员会章程

    数据治理—审计委员会章程

    委员会应承担下列具体职责。委员会还应履行其他职责和责任,符合本章程,公司章程,管辖法律,纽约证券交易所的规则和条例,联邦证券法以及适用于……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:2次

  • 大数据时代下金融数据治理的问题

    大数据时代下金融数据治理的问题

    数据治理是一套完整的制度、指引和规范,用于统筹人员、流程以及技术等要素,使得商业银行能将数据作为企业的重要资产而有效利用,其核心内容是统……查看详情

    发布时间:2019.10.17来源:知乎浏览量:3次

  • 什么是医疗保健中的数据治理?

    什么是医疗保健中的数据治理?

    数据治理是一种管理数据的方法,允许组织平衡两个需求:收集和保护信息的需求,同时从信息中获取价值。但它远不止于此。健康数据包括患者的个人和……查看详情

    发布时间:2018.11.20来源:数据治理浏览量:2次

  • 如何构建企业安全易用的数据资产?

    如何构建企业安全易用的数据资产?

    在数据治理架构中,数据资产管理位于底层数据和数据管理与应用之间,处于承上启下的重要地位。对上支撑数据安全管理等职能建设以价值发掘为导向的……查看详情

    发布时间:2021.06.02来源:亿信华辰数据治理知识库浏览量:4次

  • 数据治理分析项目最佳实践

    数据治理分析项目最佳实践

    当今信息化建设程度不断深入,企业在优化整合各种IT能力,使IT成为企业的前进驱动力与核心竞争力的同时,将视角关注于更深层次的数据治理与分……查看详情

    发布时间:2019.08.08来源:CSDN浏览量:4次

  • 业务系统的数据资产管理为什么这么难?

    业务系统的数据资产管理为什么这么难?

    如果你做过BI或大数据,一定会接触数据资产管理的一些概念,比如元数据,数据字典,血统分析等等,但你会发现,要做好大数据平台的数据资产管理……查看详情

    发布时间:2019.03.25来源:亿信华辰浏览量:4次

  • 数据中台与数据仓库相比的四大优势

    数据中台与数据仓库相比的四大优势

    数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。因此,其重点在于数据的集合。数据仓库可使用维度建……查看详情

    发布时间:2020.11.21来源:知乎浏览量:3次

  • 为什么数据治理这么重要?

    为什么数据治理这么重要?

    一个科学合理的数据治理规范,是数据安全与价值的制度保障,是数据产业健康发展,甚至是国家人工智能战略实施不可或缺的前提条件。……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:4次

  • 构建金融大数据标准体系的意义和目标

    构建金融大数据标准体系的意义和目标

    随着政府职能的逐步简政放权,标准作为辅助行业管理、规范行业发展、形成规模化效应的重要手段,将在社会治理体系中发挥更重要的作用。为顺应形势……查看详情

    发布时间:2019.12.27来源:CSDN浏览量:5次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议