数据质量问题分析
发布时间:2019.01.07来源:亿信华辰浏览量:79次标签:数据治理
数据质量问题主要包含四个问题域:技术问题、信息问题、流程问题、管理问题。
1、技术问题
由于具体数据处理的各技术环节异常所造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题产生的环节主要包括:数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面:
数据创建质量问题主要包括:创建数据默认值使用不当和数据录入的校验规则不当,导致指标统计结果不一致、数据无效、记录重复等;
数据传递质量问题主要包括:接口数据及时率低、接口数据漏传、网络传输过程不可靠,如包丢失、文件传输方式错误、传输技术问题、协议使用不当导致的数据不完整等;
数据装载质量问题主要包括:数据清洗算法、数据转换算法和数据加载算法的错误;
2、信息问题
由于对数据本身的描述、理解及其度量标准的偏差而造成的数据质量问题。产生这类数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证、变化频度不恰当等。
元数据描述及理解错误中的相关元数据主要包括:
业务元数据——主要包括业务描述、业务规则、业务术语、业务指标口径等;
技术元数据——主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。
数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。
3、流程问题
由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节:
创建流程质量问题主要指操作员数据录入时缺乏审核流程;
传递流程质量问题主要指通信流程沟通不畅;
装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误;
使用流程质量问题主要指数据使用流程缺乏流程管理;
维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控;
4、管理问题
由于人员素质及管理机制方面的 原因 造成的数据质量问题如:
数据库设计原则不严谨,数据使用不规范导致的业务数据重复,数据不一致。
人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。
没有建立管理数据质量的专门机构,出现数据质量问题后无专人负责
没有明确的数据质量目标;
缺少管理数据质量的管理办法等。
此对数据质量产品的问题进行了部分的描述,高质量的数据都是一致的,差质量的数据却各有不同。可能因为行业的不同,数据的复杂程度不同,产生的问题也会各有差别。但都可以在四个问题域里找到对应的问题。所有这个总结,还是很全面的解释了相关数据质量产生的相关问题。
-
国内大数据治理管理平台介绍
数据治理的定义是对数据资产管理行使权力和控制的活动集合。其最终目的是挖掘数据价值,推动业务发展,实现盈利。……查看详情发布时间:2019.09.12来源:知乎浏览量:195次
-
什么是数据孤岛?为什么要消除数据孤岛?
数据孤岛通常具有负面含义。它描述了孤立的数据岛,数据孤岛通常存在以下问题:1.由于代码较旧或不兼容而无法以编程方式与其他系统一起工作2.……查看详情发布时间:2021.05.28来源:亿信数据治理知识库浏览量:278次
-
大数据是大问题?组织需要为数据管理负责
如果数据收集在2018年让人们明白一件事的话,那就是使用数据的公司与商业模式依赖数据利用的公司之间存在一条明显而深刻的界线。……查看详情发布时间:2019.04.08来源:亿信华辰浏览量:66次
-
如何成功实现一个数据治理项目,大神详细拆解实施要点
数据作为新型生产要素,只有流动、分享、加工处理才能创造价值。如今数据治理成为数字经济必经之路,怎么实现一个数据治理项目成为大家最关心的问……查看详情发布时间:2021.02.02来源:知乎浏览量:115次
-
读懂工业大数据 这篇文章不得不看
工业大数据是互联网、大数据和工业产业结合的产物,是中国制造2025、工业互联网、工业4.0等国家战略在企业的落脚点。……查看详情发布时间:2019.03.27来源:亿信华辰浏览量:72次
-
实施数据治理 - 学到3个主要经验教训
尽管数据治理在开发过程中可能会有些流动和迭代,但遵循最佳实践并设计精心定位的路线图有助于确保成功。……查看详情发布时间:2018.12.21来源:亿信华辰浏览量:86次
-
企业在什么情况下需要数据交换管理平台?
许多企业初期采用手工录入、脚本处理、传统工具做数据的交换,从目前的信息化现状来看存在着很大的弊端,首先是数据来源不一,库表、文件、接口无……查看详情发布时间:2020.04.22来源:知乎浏览量:67次
-
金融服务数据治理:帮助价值'新货币'
对于在金融服务领域运营的组织,数据治理变得越来越重要。当金融服务行业董事会成员和高管在2018年初聚集在安永的金融服务领导峰会时,数据是……查看详情发布时间:2019.01.21来源:亿信华辰浏览量:81次