数据质量问题根因分析

发布时间:2019.12.06来源:CSDN浏览量:159次标签:数据治理

说到数据质量问题的原因,做过BI或数仓项目的小伙伴肯定都知道,这是一个业务和技术经常扯来扯去、互相推诿的问题。在很多情况下,企业都会把数据质量问题推给技术部门,让技术部门去查找和处理。但是企业的数据质量问题真的都是技术引起的吗,技术部门人一定会说:“这个锅我不背!”

其实,影响数据质量的因素主要就技术、业务、管理三个方面,下面我们就来从这三方面分析下产生数据质量问题都有哪些原因。

技术方面
数据模型设计的质量问题,例如:数据库表结构、数据库约束条件、数据校验规则的设计开发不合理,造成数据录入无法校验或校验不当,引起数据重复、不完整、不准确。
数据源存在数据质量问题,例如:有些数据是从生产系统采集过来的,在生产系统中这些数据就存在重复、不完整、不准确等问题,而采集过程有没有对这些问题做清洗处理,这种情况也比较常见。
数据采集过程质量问题, 例如:采集点、采集频率、采集内容、映射关系等采集参数和流程设置的不正确,数据采集接口效率低,导致的数据采集失败、数据丢失、数据映射和转换失败。
数据传输过程的问题,例如:数据接口本身存在问题、数据接口参数配置错误、网络不可靠等都会造成数据传输过程中的发生数据质量问题。
数据装载过程的问题,例如:数据清洗规则、数据转换规则、数据装载规则配置有问题。
数据存储的质量问题,例如:数据存储设计不合理,数据的存储能力有限,人为后台调整数据,引起的数据丢失、数据无效、数据失真、记录重复。
业务系统各自为政,烟囱式建设,系统之间的数据不一致问题严重。

业务方面
业务需求不清晰,例如:数据的业务描述、业务规则不清晰,导致技术无法构建出合理、正确的数据模型。
业务需求的变更,这个问题其实是对数据质量影响非常大的,需求一变,数据模型设计、数据录入、数据采集、数据传输、数据装载、数据存储等环节都会受到影响,稍有不慎就会导致数据质量问题的发生。
业务端数据输入不规范,常见的数据录入问题,如:大小写、全半角、特殊字符等一不小心就会录错。人工录入的数据质量与录数据的业务人员密切相关,录数据的人工作严谨、认真,数据质量就相对较好,反之就较差。
数据作假,对,你没看错,就是数据作假!操作人员为了提高或降低考核指标,对一些数据进行处理,使得数据真实性无法保证。

管理方面
认知问题。企业管理缺乏数据思维,没有认识到数据质量的重要性,重系统而轻数据,认为系统是万能的,数据质量差些也没关系。
没有明确数据归口管理部门或岗位,缺乏数据认责机制,出现数据质量问题找不到负责人。
缺乏数据规划,没有明确的数据质量目标,没有制定数据质量相关的政策和制度。
数据输入规范不统一,不同的业务部门、不同的时间、甚至在处理相同业务的时候,由于数据输入规范不同,造成数据冲突或矛盾。
缺乏有效的数据质量问题处理机制,数据质量问题从发现、指派、处理、优化没有一个统一的流程和制度支撑,数据质量问题无法闭环。
缺乏有效的数据管控机制,对历史数据质量检查、新增数据质量校验没有明确和有效的控制措施,出现数据质量问题无法考核。

小结:影响数据质量的因素,可以总结为两类,客观因素和主观因素。客观因素:在数据各环节流转中,由于系统异常和流程设置不当等因素,从而引起的数据质量问题。主观因素:在数据各环节处理中,由于人员素质低和管理缺陷等因素,从而操作不当而引起的数据质量问题。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    工业互联网激起能源领域一池春水,新一代信息技术则是其不断发展的加速器。山东能源集团下属临沂矿业集团有限责任公司(以下简称临矿集团)率先在……查看详情

    发布时间:2021.02.04来源:亿信华辰浏览量:212次

  • 企业如何快速实现一个数据治理项目

    企业如何快速实现一个数据治理项目

    大数据治理是诸多数据问题的全面解决之道。企业只有建立了完整的大数据治理体系,保证数据的质量,才能够真正有效地挖掘企业内部的数据价值,对外……查看详情

    发布时间:2020.03.19来源:知乎浏览量:111次

  • 数据治理:建立有效政策的10个步骤

    数据治理:建立有效政策的10个步骤

    数据治理通常与法规遵从性相关。但数据质量和理解是数据治理的核心。作为竞争优势,更全面地使用快速增长的企业数据的能力也是数据治理策略的公认……查看详情

    发布时间:2018.12.14来源:数据治理浏览量:151次

  • 数据治理—审计委员会章程

    数据治理—审计委员会章程

    委员会应承担下列具体职责。委员会还应履行其他职责和责任,符合本章程,公司章程,管辖法律,纽约证券交易所的规则和条例,联邦证券法以及适用于……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:123次

  • 数据质量对于数据分析来说至关重要

    数据质量对于数据分析来说至关重要

    数据质量的关键所在包括:大致分为完整性,一致性,准确性,有效性和及时性这五个组件。……查看详情

    发布时间:2019.11.13来源:知乎浏览量:119次

  • 数据治理:建设大数据平台就够了?你还要做这件事

    数据治理:建设大数据平台就够了?你还要做这件事

    长期以来,大家一直忽略一个问题:数据跟原来的企业应用系统一样,它是需要被管理的。企业逐渐了解数据所蕴含的价值,对数据的重视程度越来越高。……查看详情

    发布时间:2018.12.12来源:亿信华辰浏览量:90次

  • 构建有效的数据科学团队

    构建有效的数据科学团队

    随着数据科学和人工智能几乎进入阳光下的每个行业,建立一个能够建立成功的AI项目的团队的挑战也是如此。对统计学家,程序员和沟通者完美融合的……查看详情

    发布时间:2019.03.15来源:亿信华辰浏览量:134次

  • 大数据治理 [Big Data Governance an Emerging Imperative]

    大数据治理 [Big Data Governance an Emerging Imperative]

    《大数据治理》是一个信息治理专家奉献的鸿篇巨制,作者以极其实用和通俗易懂的风格,倾心向读者解读大数据治理这一复杂主题。作为一家大公司的资……查看详情

    发布时间:2018.11.29来源:数据治理浏览量:126次

  • 2020年数据治理研究报告

    2020年数据治理研究报告

    2020年5月发布的《中共中央 国务院关于新时代加快完善社会主义市场经济体制的意见》中提出,要加快培育发展数据要素市场,建立数据资源清单……查看详情

    发布时间:2021.02.27来源:知乎浏览量:99次

  • “安全”与“共享”同行,大数据正改变着世界

    “安全”与“共享”同行,大数据正改变着世界

    什么是大数据?早在2011年,世界著名咨询公司麦肯锡就曾在《大数据:下一个创新、竞争和生产力的前沿》报告中对其进行了基础定义:“大数据是……查看详情

    发布时间:2019.01.14来源:亿信华辰浏览量:130次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议