数据质量问题分析
发布时间:2019.01.07来源:亿信华辰浏览量:87次标签:数据治理
数据质量问题主要包含四个问题域:技术问题、信息问题、流程问题、管理问题。
1、技术问题
由于具体数据处理的各技术环节异常所造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题产生的环节主要包括:数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面:
数据创建质量问题主要包括:创建数据默认值使用不当和数据录入的校验规则不当,导致指标统计结果不一致、数据无效、记录重复等;
数据传递质量问题主要包括:接口数据及时率低、接口数据漏传、网络传输过程不可靠,如包丢失、文件传输方式错误、传输技术问题、协议使用不当导致的数据不完整等;
数据装载质量问题主要包括:数据清洗算法、数据转换算法和数据加载算法的错误;
2、信息问题
由于对数据本身的描述、理解及其度量标准的偏差而造成的数据质量问题。产生这类数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证、变化频度不恰当等。
元数据描述及理解错误中的相关元数据主要包括:
业务元数据——主要包括业务描述、业务规则、业务术语、业务指标口径等;
技术元数据——主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。
数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。
3、流程问题
由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节:
创建流程质量问题主要指操作员数据录入时缺乏审核流程;
传递流程质量问题主要指通信流程沟通不畅;
装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误;
使用流程质量问题主要指数据使用流程缺乏流程管理;
维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控;
4、管理问题
由于人员素质及管理机制方面的 原因 造成的数据质量问题如:
数据库设计原则不严谨,数据使用不规范导致的业务数据重复,数据不一致。
人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。
没有建立管理数据质量的专门机构,出现数据质量问题后无专人负责
没有明确的数据质量目标;
缺少管理数据质量的管理办法等。
此对数据质量产品的问题进行了部分的描述,高质量的数据都是一致的,差质量的数据却各有不同。可能因为行业的不同,数据的复杂程度不同,产生的问题也会各有差别。但都可以在四个问题域里找到对应的问题。所有这个总结,还是很全面的解释了相关数据质量产生的相关问题。
-
2021基层政府数据治理的必要性
政府数据治理是指为高效发挥数据价值、达到治理能力现代化的目标,以政府为主导、社会共同负责的多元主体,运用各种可行手段对重要数据资源各个生……查看详情发布时间:2021.04.26来源:亿信数据治理知识库浏览量:149次
-
数据治理在医疗保健行业意味着什么?
医疗保健行业由许多活动部件组成。医疗保健行业的范围和复杂性使得解释数据治理如何提供价值变得非常具有挑战性。……查看详情发布时间:2019.03.14来源:亿信华辰浏览量:78次
-
数据质量问题的影响因素
数据质量反映的是数据的“适用性(fitness for use)”,即数据满足使用需要的合适程度。数据质量通过完整性、一致性、准确性、及……查看详情发布时间:2020.04.09来源:百度浏览量:119次
-
企业为什么要实施数据治理项目
目前业界并没有对其概念的统一标准定义,我们可以这么认为,数据治理从本质上看就是对一个机构(企业或政府部门)的数据从收集融合到分析管理和利……查看详情发布时间:2020.04.09来源:知乎浏览量:65次
-
应用系统的数据治理一些关注点
现在互联网公司业务发展都是非常飞速,当业务发展到一定规模,就得考虑如何去做服务治理,大家的重心一般放在微服务的应用架构设计层面,往往比……查看详情发布时间:2019.01.08来源:亿信华辰浏览量:116次
-
企业数字化转型面临的挑战
来自调研机构Gartner的预测也显示,到2020年,多数企业将有75%的业务实现数字化或正在数字化。数字化转型已经成为企业发展的必经之……查看详情发布时间:2020.04.03来源:知乎浏览量:63次
-
数据标准管理平台解决方案
企业内部开展企业数据资源整合工作,实现对企业核心业务、核心资源的综合管控,是企业信息化的一个核心目标。通过体系化的数据资源管理平台的建设……查看详情发布时间:2020.04.28来源:知乎浏览量:90次
-
数据治理和信任—让你的数据如水般清澈
根据相关报告,数据治理是“对数据相关事务的决策和权限的行使。”换句话说,它是对必须根据特定标准进行的任何数据输入的控制 。2019年,组……查看详情发布时间:2019.06.28来源:知乎浏览量:64次
-
谷歌首席决策科学家:30篇文章通关数据科学与人工智能
谷歌首席决策科学家(Chief Decision Scientis)凯西柯兹科夫(Cassie Kozyrkov)在2018年非常高产,……查看详情发布时间:2019.01.24来源:亿信华辰浏览量:68次