数据质量问题分析

发布时间:2019.01.07来源:亿信华辰浏览量:137次标签:数据治理


数据质量问题主要包含四个问题域:技术问题、信息问题、流程问题、管理问题。

1、技术问题

由于具体数据处理的各技术环节异常所造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题产生的环节主要包括:数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面:

数据创建质量问题主要包括:创建数据默认值使用不当和数据录入的校验规则不当,导致指标统计结果不一致、数据无效、记录重复等;

数据传递质量问题主要包括:接口数据及时率低、接口数据漏传、网络传输过程不可靠,如包丢失、文件传输方式错误、传输技术问题、协议使用不当导致的数据不完整等;

数据装载质量问题主要包括:数据清洗算法、数据转换算法和数据加载算法的错误;

2、信息问题

由于对数据本身的描述、理解及其度量标准的偏差而造成的数据质量问题。产生这类数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证、变化频度不恰当等。

元数据描述及理解错误中的相关元数据主要包括:

业务元数据——主要包括业务描述、业务规则、业务术语、业务指标口径等;

技术元数据——主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。

数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。

3、流程问题

由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节:

创建流程质量问题主要指操作员数据录入时缺乏审核流程;

传递流程质量问题主要指通信流程沟通不畅;

装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误;

使用流程质量问题主要指数据使用流程缺乏流程管理;

维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控;

4、管理问题

由于人员素质及管理机制方面的 原因 造成的数据质量问题如:

数据库设计原则不严谨,数据使用不规范导致的业务数据重复,数据不一致。

人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。

没有建立管理数据质量的专门机构,出现数据质量问题后无专人负责

没有明确的数据质量目标;

缺少管理数据质量的管理办法等。

此对数据质量产品的问题进行了部分的描述,高质量的数据都是一致的,差质量的数据却各有不同。可能因为行业的不同,数据的复杂程度不同,产生的问题也会各有差别。但都可以在四个问题域里找到对应的问题。所有这个总结,还是很全面的解释了相关数据质量产生的相关问题。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 简明扼要的数据治理指南

    简明扼要的数据治理指南

    数据收集是企业执行的最重要的功能之一。通过获取有关您的客户,员工,财务等的数据,您可以确保轻松,可靠地访问有助于指导主要业务决策的信息。……查看详情

    发布时间:2019.07.04来源:知乎浏览量:104次

  • 大数据共享交换平台的功能需求

    大数据共享交换平台的功能需求

    大数据平台是集开发、配置、部署、管理、监控、安全于一体的数据交换全生命周期管理的数据交换平台。平台可快速构建、运行和管理分布式应用系统间……查看详情

    发布时间:2022.05.18来源:小亿浏览量:361次

  • 数据质量六大评价标准是什么

    数据质量六大评价标准是什么

    随着大数据时代的带来,数据的应用也日趋繁茂,越来越多的应用和服务都基于数据而建立,数据的重要性不言而喻。而且,数据质量是数据分析和数据挖……查看详情

    发布时间:2022.03.28来源:小亿浏览量:5939次

  • 企业数据标准管理系统应该这样做!

    企业数据标准管理系统应该这样做!

    提到“标准”二字,我们第一时间能够想到的就是一系列的标准化文档,例如:产品设计标准、生产标准、质量检验标准、库房……查看详情

    发布时间:2020.08.31来源:CSDN浏览量:103次

  • 数据标准管理工具最全介绍:背景、功能和案例都在这!

    数据标准管理工具最全介绍:背景、功能和案例都在这!

    数据标准管理工具作为企业开展数据管控的抓手,需要把数据管理制度办法中建立的各项工作流在信息化系统中实现,避免线下流程,这就需要工具能支持……查看详情

    发布时间:2021.08.03来源:亿信数据治理知识库浏览量:913次

  • 数据治理:让数据质量更好

    数据治理:让数据质量更好

    大数据时代数据产生的价值越来越大,基于数据的相关技术、应用形式也在快速发展,开发基于数据的新型应用已经成为高校信息化建设的一个重点领域。……查看详情

    发布时间:2019.02.12来源:亿信华辰浏览量:151次

  • 数据中心基于政府数据治理的工作清单

    数据中心基于政府数据治理的工作清单

    随着信息社会不断向纵深发展,数据和信息作为战略性资源的价值正在快速提升。人类社会正在进入数据时代,从关注网络、系统到注重数据,已成为当前……查看详情

    发布时间:2018.09.30来源:数据治理浏览量:137次

  • 主数据管理第一步——识别主数据

    主数据管理第一步——识别主数据

    主数据管理的目的就是为了确保企业核心数据的准确性、一致性、稳定性,打破数据孤岛,帮助企业高效运转。然而在茫茫数据大海中识别出主数据是一项……查看详情

    发布时间:2019.10.24来源:亿信华辰浏览量:101次

  • 2019年IT关注的重点:大数据分析的存储架构

    2019年IT关注的重点:大数据分析的存储架构

    存储行业的技术专家和分析师预测,IT组织将专注于改进其存储架构,以便在2019年更好地利用数据分析、人工智能和物联网。并指出,改进大数据……查看详情

    发布时间:2019.03.26来源:亿信华辰浏览量:78次

  • 数据治理在医疗保健行业意味着什么?

    数据治理在医疗保健行业意味着什么?

    医疗保健行业由许多活动部件组成。医疗保健行业的范围和复杂性使得解释数据治理如何提供价值变得非常具有挑战性。……查看详情

    发布时间:2019.03.14来源:亿信华辰浏览量:127次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议