数据质量问题的影响因素
发布时间:2020.04.09来源:百度浏览量:117次标签:数据治理
数据质量问题按照问题的来源和具体原因,可以分为信息、技术、流程、管理四个问题域。如下图所示。
信息问题域
信息类问题是由于对数据本身的描述理解及其度量标准的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。
技术问题域
1、数据创建质量问题主要包括业务系统数据入库延迟、创建数据默认值使用不当和数据录入的校验规则不当,导致指标统计结果不一致、数据无效、记录重复等。
2、数据获取质量问题主要包括采集点不正确、取数时点不正确以及接口数据在获取过程中失真。如,编码转换处理错误以及精度不够,导致指标统计结果不一致、数据无效等。
3、数据传递质量问题主要包括接口数据及时率低,接口数据漏传,网络传输过程不可靠,如包丢失,文件传输方式错误,传输技术问题,协议使用不当导致的数据不完整等。
4、数据装载质量问题主要包括数据清洗算法、数据转换算法、数据加载算法错误。
5、数据使用质量问题主要包括展示工具使用错误、展示方式不合理和展示周期不合理。
6、数据维护质量问题主要包括数据备份/恢复错误、数据的存储能力有限、维护过程缺乏验证机制和人为后台调整数据。
流程问题域
1、创建流程质量问题主要指操作员数据录入时缺乏审核流程;
2、传递流程质量问题主要指通信流程沟通不畅;
3、装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误;
4、使用流程质量问题主要指数据使用流程缺乏流程管理;
5、维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控;
6、稽核流程质量问题主要指缺乏数据错误反馈流程。
管理问题域
人员管理所产生的质量问题主要指:
(1)针对数据质量问题,没有建立管理数据质量的专门机构,出现数据质量问题后无专人负责;
(2)没有明确的数据质量目标;
(3)主题分析数据的数据质量问题的优先级不够;
(4)企业缺少管理数据质量的管理办法等;
人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。
上述数据质量问题的影响因素分析,从侧面展示了企业数据一次性达标的困难程度;也反映出关注数据质量的重要性、以及数据质量工作的零散和琐碎的特点。信息、流程和技术三个方面的数据质量问题相对来说,比较容易控制,有可能通过引入数据质量管理体系和数据质量管理系统得到改善;对于管理类的数据质量问题,往往与企业对数据的理解和支持程度紧密相关,需要从数据规划、数据治理的组织与职责、数据规范的制度和流程方面下功夫。
-
消费者而非公司是数据治理的优先事项
这将是一条漫长的道路,正在努力解决重大问题。但是,对于澳大利亚来说,提供符合社区价值观的创新和包容性增长,我们应该为后代开始实施一个强有……查看详情发布时间:2019.03.07来源:亿信华辰浏览量:74次
-
数据治理 定义,挑战和最佳实践
数据治理构成了公司范围数据管理的基础,可以有效地使用可信赖的数据。有效的数据管理是一项需要集中控制机制的重要任务。 为了帮助最终用户更……查看详情发布时间:2019.02.20来源:数据治理浏览量:103次
-
大数据时代的数据治理
随着Hadoop技术的提升,数据如何进来,如何整合,开展什么样的应用都已经有了成熟的案例,可是,同传统数仓时代一样,垃圾进垃圾出,如何破……查看详情发布时间:2020.03.19来源:知乎浏览量:68次
-
数据治理要处理好四个关系
随着我国大数据战略的不断推进,各类生产生活行为都以数据的形式全景留痕,构建了一个与现实空间平行的“数据空间”,数据治理呼之欲出。要切实发……查看详情发布时间:2020.04.02来源:知乎浏览量:78次
-
国内数据治理平台厂商介绍
睿治数据治理平台是北京亿信华辰软件有限责任公司完全自主研发的一站式综合数据治理整体解决方案,是一款面向全用户角色的、智能的、敏捷的数据全……查看详情发布时间:2019.09.19来源:知乎浏览量:103次
-
数据仓库的定义,它有什么作用?
最简单的数据仓库是用于存储和报告数据的系统。数据通常源自多个系统,然后将其移入数据仓库以进行长期存储和分析。该存储的结构使得组织内的许多……查看详情发布时间:2018.12.20来源:数据治理浏览量:84次
-
数据资产管理直面企业痛点
企业日常经营活动中积累的大量数据,除了支持业务流程运转之外,越来越多地被用于帮助企业提升管理决策效率、实现价值挖掘和业务创新。企业日常经……查看详情发布时间:2020.09.11来源:知乎浏览量:58次
-
数据治理和流分析的关系
借助流分析,可以通过智能数据模型和算法快速处理传入数据,以致在许多情况下,流数据没有机会被存储。与传统的分析过程相比,这是一个重要的变化……查看详情发布时间:2021.04.23来源:亿信数据治理知识库浏览量:74次
-
数据资产管理“管”什么
目前,数据资产管理已经形成了一套科学的管理架构体系,其体系架构如下图所示,主要包含9个活动职能和2个保障措施,9个活动职能指的是数据标准……查看详情发布时间:2020.09.11来源:知乎浏览量:56次
-
数据情报,数据治理和第四次工业革命
世界经济论坛创始人,“第四次工业革命 ”一书的作者克劳斯·施瓦布表示,目前技术突破的速度没有历史先例,第四次革命是以指数而非线性的速度发……查看详情发布时间:2019.02.21来源:亿信华辰浏览量:73次