数据质量问题分析

发布时间:2019.01.07来源:亿信华辰浏览量:465次标签:数据治理


数据质量问题主要包含四个问题域:技术问题、信息问题、流程问题、管理问题。

1、技术问题

由于具体数据处理的各技术环节异常所造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题产生的环节主要包括:数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面:

数据创建质量问题主要包括:创建数据默认值使用不当和数据录入的校验规则不当,导致指标统计结果不一致、数据无效、记录重复等;

数据传递质量问题主要包括:接口数据及时率低、接口数据漏传、网络传输过程不可靠,如包丢失、文件传输方式错误、传输技术问题、协议使用不当导致的数据不完整等;

数据装载质量问题主要包括:数据清洗算法、数据转换算法和数据加载算法的错误;

2、信息问题

由于对数据本身的描述、理解及其度量标准的偏差而造成的数据质量问题。产生这类数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证、变化频度不恰当等。

元数据描述及理解错误中的相关元数据主要包括:

业务元数据——主要包括业务描述、业务规则、业务术语、业务指标口径等;

技术元数据——主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。

数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。

3、流程问题

由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节:

创建流程质量问题主要指操作员数据录入时缺乏审核流程;

传递流程质量问题主要指通信流程沟通不畅;

装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误;

使用流程质量问题主要指数据使用流程缺乏流程管理;

维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控;

4、管理问题

由于人员素质及管理机制方面的 原因 造成的数据质量问题如:

数据库设计原则不严谨,数据使用不规范导致的业务数据重复,数据不一致。

人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。

没有建立管理数据质量的专门机构,出现数据质量问题后无专人负责

没有明确的数据质量目标;

缺少管理数据质量的管理办法等。

此对数据质量产品的问题进行了部分的描述,高质量的数据都是一致的,差质量的数据却各有不同。可能因为行业的不同,数据的复杂程度不同,产生的问题也会各有差别。但都可以在四个问题域里找到对应的问题。所有这个总结,还是很全面的解释了相关数据质量产生的相关问题。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 企业的数据标准管理包括什么?

    企业的数据标准管理包括什么?

    数据标准(Data Standards)是保障数据的内外部使用和交换的一致性和准确性的规范性约束。数据标准管理是规范数据标准的制定和实施……查看详情

    发布时间:2020.05.08来源:知乎浏览量:462次

  • 数据治理:一些美好的开始

    数据治理:一些美好的开始

    数据治理增强了业务参与,共享理解,关注和协调,将日益脱节的数据环境结合在一起,并在许多EDM计划中提供数据值优化。……查看详情

    发布时间:2018.12.21来源:亿信华辰浏览量:516次

  • 美国数据治理有何新动向?

    美国数据治理有何新动向?

    大数据时代,美国高度重视数据资源的战略价值,相继出台国家战略,落实配套措施,系统推动本国大数据发展。通过加强数据安全保护,完善个人信息和……查看详情

    发布时间:2018.10.10来源:中国信息通信浏览量:482次

  • 做数据的守护者亿信华辰推新一代数据治理解决方案

    做数据的守护者亿信华辰推新一代数据治理解决方案

    为帮助银行业客户满足监管合规的要求,亿信华辰在2018年推出了最新版的数据治理解决方案,其中包含数据治理组织架构的建设、数据管理专项工作……查看详情

    发布时间:2019.10.24来源:知乎浏览量:601次

  • 着力提升工业数据资源管理能力,加快工业互联网创新发展步伐

    着力提升工业数据资源管理能力,加快工业互联网创新发展步伐

    工业互联网是第四次工业革命的重要基石,作为数字化转型的关键支撑力量,正在全球范围不断颠覆传统制造模式、生产组织方式和产业形态,推动传统产……查看详情

    发布时间:2019.03.07来源:数据管理浏览量:472次

  • 如何搭建数据质量管理平台

    如何搭建数据质量管理平台

    数据往往在一个企业是相当于一个重要资产,企业在经营的过程中也会积累不少各类数据,这类数据后期也可通过归纳、提炼从而进行深度挖掘分析,给企……查看详情

    发布时间:2019.07.30来源:知乎浏览量:507次

  • 人人都说大数据,那你知道它的核心价值吗?

    人人都说大数据,那你知道它的核心价值吗?

    近些年来,大数据已成为了大家茶余饭后讨论的热门话题,像数据安全、数据挖掘、数据分析等围绕大数据的一系列技术也深受市场的喜爱。那么,在这样……查看详情

    发布时间:2019.03.28来源:亿信华辰浏览量:428次

  • 什么是敏捷数据管理?敏捷数据管理的技术原则

    什么是敏捷数据管理?敏捷数据管理的技术原则

    在大数据的时代,大家都在重视数据存储和大数据相关技术的同时,都开始注重建设数据管理能力。在海量复杂数据的场景下,如果没有有效的管理,那么……查看详情

    发布时间:2022.03.03来源:小亿浏览量:575次

  • 企业数据治理存在很多误区和陷阱

    企业数据治理存在很多误区和陷阱

    企业数据治理存在很多误区和陷阱,最常见的陷阱包括:重IT而轻业务: 尽管通常是专业IT人员最先认识到数据治理的必要性,但他们既不是数据的……查看详情

    发布时间:2020.07.09来源:CSDN浏览量:440次

  • “数据法治化治理”应平衡安全与发展

    “数据法治化治理”应平衡安全与发展

    数据治理的法治化问题,即对数据治理主体的权利义务的设定及其关系模式之制度安排,应符合法治主义要求。“数据法治化治理”要特别关注合法性。……查看详情

    发布时间:2019.08.02来源:中国人民大学未来法治研究院浏览量:467次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议