数据质量问题的影响因素

数据质量反映的是数据的“适用性（fitness for use）”，即数据满足使用需要的合适程度。数据质量通过完整性、一致性、准确性、及时性、合法性等多类维度对数据进行度量。数据质量管理的目的是为企业提供洁净、结构清晰的数据，是企业开发业务系统、提供数据服务、发挥数据价值的必要前提，是企业数据资产管理的前提。

数据质量问题按照问题的来源和具体原因，可以分为信息、技术、流程、管理四个问题域。如下图所示。

信息问题域

信息类问题是由于对数据本身的描述理解及其度量标准的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有：元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。

技术问题域

技术类问题是指由于具体数据处理的各技术环节的异常造成的数据质量问题，它产生的直接原因是技术实现上的某种缺陷。数据质量问题的产生环节主要包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面的内容：

1、数据创建质量问题主要包括业务系统数据入库延迟、创建数据默认值使用不当和数据录入的校验规则不当，导致指标统计结果不一致、数据无效、记录重复等。
2、数据获取质量问题主要包括采集点不正确、取数时点不正确以及接口数据在获取过程中失真。如，编码转换处理错误以及精度不够，导致指标统计结果不一致、数据无效等。
3、数据传递质量问题主要包括接口数据及时率低，接口数据漏传，网络传输过程不可靠，如包丢失，文件传输方式错误，传输技术问题，协议使用不当导致的数据不完整等。
4、数据装载质量问题主要包括数据清洗算法、数据转换算法、数据加载算法错误。
5、数据使用质量问题主要包括展示工具使用错误、展示方式不合理和展示周期不合理。
6、数据维护质量问题主要包括数据备份/恢复错误、数据的存储能力有限、维护过程缺乏验证机制和人为后台调整数据。

流程问题域

流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于主题分析数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节：

1、创建流程质量问题主要指操作员数据录入时缺乏审核流程；
2、传递流程质量问题主要指通信流程沟通不畅；
3、装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误；
4、使用流程质量问题主要指数据使用流程缺乏流程管理；
5、维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控；
6、稽核流程质量问题主要指缺乏数据错误反馈流程。

管理问题域

管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题，如人员管理、培训和奖励等方面的措施不当导致的管理缺失。

人员管理所产生的质量问题主要指：
（1）针对数据质量问题，没有建立管理数据质量的专门机构，出现数据质量问题后无专人负责；
（2）没有明确的数据质量目标；
（3）主题分析数据的数据质量问题的优先级不够；
（4）企业缺少管理数据质量的管理办法等；

人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。
上述数据质量问题的影响因素分析，从侧面展示了企业数据一次性达标的困难程度；也反映出关注数据质量的重要性、以及数据质量工作的零散和琐碎的特点。信息、流程和技术三个方面的数据质量问题相对来说，比较容易控制，有可能通过引入数据质量管理体系和数据质量管理系统得到改善；对于管理类的数据质量问题，往往与企业对数据的理解和支持程度紧密相关，需要从数据规划、数据治理的组织与职责、数据规范的制度和流程方面下功夫。