数据质量问题分析

发布时间:2019.01.07来源:亿信华辰浏览量:459次标签:数据治理


数据质量问题主要包含四个问题域:技术问题、信息问题、流程问题、管理问题。

1、技术问题

由于具体数据处理的各技术环节异常所造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题产生的环节主要包括:数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面:

数据创建质量问题主要包括:创建数据默认值使用不当和数据录入的校验规则不当,导致指标统计结果不一致、数据无效、记录重复等;

数据传递质量问题主要包括:接口数据及时率低、接口数据漏传、网络传输过程不可靠,如包丢失、文件传输方式错误、传输技术问题、协议使用不当导致的数据不完整等;

数据装载质量问题主要包括:数据清洗算法、数据转换算法和数据加载算法的错误;

2、信息问题

由于对数据本身的描述、理解及其度量标准的偏差而造成的数据质量问题。产生这类数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证、变化频度不恰当等。

元数据描述及理解错误中的相关元数据主要包括:

业务元数据——主要包括业务描述、业务规则、业务术语、业务指标口径等;

技术元数据——主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。

数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。

3、流程问题

由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节:

创建流程质量问题主要指操作员数据录入时缺乏审核流程;

传递流程质量问题主要指通信流程沟通不畅;

装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误;

使用流程质量问题主要指数据使用流程缺乏流程管理;

维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控;

4、管理问题

由于人员素质及管理机制方面的 原因 造成的数据质量问题如:

数据库设计原则不严谨,数据使用不规范导致的业务数据重复,数据不一致。

人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。

没有建立管理数据质量的专门机构,出现数据质量问题后无专人负责

没有明确的数据质量目标;

缺少管理数据质量的管理办法等。

此对数据质量产品的问题进行了部分的描述,高质量的数据都是一致的,差质量的数据却各有不同。可能因为行业的不同,数据的复杂程度不同,产生的问题也会各有差别。但都可以在四个问题域里找到对应的问题。所有这个总结,还是很全面的解释了相关数据质量产生的相关问题。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 用于构建数据驱动型企业的敏捷数据治理基础

    用于构建数据驱动型企业的敏捷数据治理基础

    数据驱动型企业是现代企业的基石,良好的数据治理是关键的推动因素。……查看详情

    发布时间:2019.01.26来源:亿信华辰浏览量:420次

  • 如何有效的进行数据治理和数据管控

    如何有效的进行数据治理和数据管控

    大数据时代的到来,让政府、企业看到了数据资产的价值,并快速开始探索应用场景和商业模式、建设技术平台。但是,如果在大数据拼图中遗忘了数据治……查看详情

    发布时间:2019.01.03来源:数据改变生活浏览量:666次

  • 数据治理中如何做好数据清理与归档

    数据治理中如何做好数据清理与归档

    传统上,数据的清理和归档属于DBA的职责,随着企业数字化转型、数据治理工作的推进,这项工作也被纳入了数据治理工作的重要内容。数据团队定期……查看详情

    发布时间:2022.05.31来源:互联网浏览量:939次

  • 什么是主数据管理系统?

    什么是主数据管理系统?

    采集与集成、共享、数据质量、数据治理是主数据管理的四大要素,主数据管理要做的就是从企业外部和企业的多个业务系统中采集和整合最核心的、最需……查看详情

    发布时间:2020.04.29来源:知乎浏览量:477次

  • 数据治理与数据管理:有什么区别?

    数据治理与数据管理:有什么区别?

    如果今天有任何定义成功企业的东西,那就是公司数据的成功理解,使用和策略。了解您的数据并确定如何实施它会带来一系列问题,包括用户和利益相关……查看详情

    发布时间:2018.11.13来源:克里希基德浏览量:468次

  • 为什么数据治理?

    为什么数据治理?

    数据治理曾经是一件好事,但由于数据和分析的重点和重要性日益增加,它已成为帮助推动整个企业数据管理的必要条件。……查看详情

    发布时间:2018.12.21来源:亿信华辰浏览量:410次

  • 数据治理加速企业数字化转型

    数据治理加速企业数字化转型

    现在大家都在说一个概念,银行有3.0时代,数据也有3.0时代,3.0时代在不同地域里都有不同的诉求,数字3.0时代是什么?概念并不新,从……查看详情

    发布时间:2019.08.02来源:企业网浏览量:374次

  • 金融机构数据质量迎来“大考” ,这个数据治理利器你值得拥有

    金融机构数据质量迎来“大考” ,这个数据治理利器你值得拥有

    金融机构数据质量迎来“大考”。近日,中国银保监会办公厅下发了《关于开展监管数据质量专项治理工作的通知》,此次专项治理工作要压实监管数据质……查看详情

    发布时间:2021.01.29来源:知乎浏览量:658次

  • 数据治理的发展历程

    数据治理的发展历程

    数据治理技术的发展使得其中最好的技术为组织的数据景观提供了完全的透明性,并为业务用户在搜索、访问和应用数据时提供了一种方便快捷的体验。……查看详情

    发布时间:2018.11.19来源:艾米丽华盛顿浏览量:547次

  • 数据治理——企业数字化转型的必经之路

    数据治理——企业数字化转型的必经之路

    主要介绍了数字化转型内涵及发展路径、数据治理为数字化转型提供基础支撑、企业级数据治理整体解决方案。……查看详情

    发布时间:2021.12.31来源:浏览量:702次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议