浅谈数据质量管理

这篇文章主要讲数据治理中的重要内容：数据质量管理。数据治理的理论和实践不断向前发展，但数据质量管理始终是数据治理的初衷，也是最重要的目的。我会从数据质量管理的目标，质量问题产生的根源，质量评估标准，质量管理流程，质量管理的取与舍几个方面进行阐述。

一、数据质量管理的目标
数据质量管理主要解决“数据质量现状如何，谁来改进，如何提高，怎样考核”的问题。

为什么这篇文章的标题中有“不忘初心方得始终”这几个字呢。因为最开始的关系型数据库时代，做数据治理最主要的目的，就是为了提升数据质量，让报表、分析、应用更加准确。时至今日，虽然数据治理的范畴扩大了很多，我们开始讲数据资产管理、知识图谱、自动化的数据治理等等概念，但是提升数据的质量，依然是数据治理最重要的目标之一。

为什么数据质量问题如此重要？

因为数据要能发挥其价值，关键在于其数据的质量的高低，高质量的数据是一切数据应用的基础。

如果一个组织根据劣质的数据分析业务、进行决策，那还不如没有数据，因为通过错误的数据分析出的结果往往会带来“精确的误导”，对于任何组织来说，这种“精确误导”都无异于一场灾难。

根据统计，数据科学家和数据分析员每天有30%的时间浪费在了辨别数据是否是“坏数据”上，在数据质量不高的环境下，做数据分析可谓是战战兢兢。可见数据质量问题已经严重影响了组织业务的正常运营。通过科学的数据质量管理，持续地提升数据质量，已经成为组织内刻不容缓的优先任务。

二、数据质量问题产生的根源
做数据质量管理，首先要搞清楚数据质量问题产生的原因。原因有多方面，比如在技术、管理、流程方面都会碰到。但从根本上来时，数据质量问题产生的大部分原因在于业务上，也就是管理不善。许多表面上的技术问题，深究下去，其实还是业务问题。

 

我在给客户做数据治理咨询的时候，发现很多客户认识不到数据质量问题产生的根本原因，局限于只想从技术角度来解决问题，希望通过购买某个工具就能解决质量问题，这当然达不到理想的效果。经过和客户交流以及双方共同分析之后，大部分组织都能认识到数据质量问题产生的真正根源，从而开始从业务着手解决数据质量问题了。

从业务角度着手解决数据质量问题，重要的是建立一套科学、可行的数据质量评估标准和管理流程。

三、数据质量评估的标准
当我们谈到数据质量管理的时候，我们必须要有一个数据质量评估的标准，有了这个标准，我们才能知道如何评估数据的质量，才能把数据质量量化，并知道改进的方向，比较改进后的效果。

目前业内认可的数据质量的标准有：

准确性: 描述数据是否与其对应的客观实体的特征相一致。
完整性: 描述数据是否存在缺失记录或缺失字段。
一致性: 描述同一实体的同一属性的值在不同的系统是否一致。
有效性: 描述数据是否满足用户定义的条件或在一定的域值范围内。
唯一性: 描述数据是否存在重复记录。
及时性: 描述数据的产生和供应是否及时。
稳定性: 描述数据的波动是否是稳定的，是否在其有效范围内。
以上数据质量标准只是一些通用的规则，这些标准是可以根据数据的实际情况和业务要求进行扩展的，如交叉表校验等。

四、数据质量管理的流程
要提升数据质量，需要以问题数据为切入点，注重问题的分析、解决、跟踪、持续优化、知识积累，形成数据质量持续提升的闭环。

首先需要梳理和分析数据质量问题，摸清楚数据质量的现状；然后针对不同的质量问题选择适合的解决办法，制定出详细的解决方案；接着是问题的认责，追踪方案执行的效果，监督检查，持续优化；最后形成数据质量问题解决的知识库，以供后来者参考。上述步骤不断迭代，形成数据质量管理的闭环。

很显然，要管理好数据质量，仅有工具支撑是远远不够的，必须要组织架构、制度流程参与进来，做到数据的认责，数据的追责。

亿信华辰的数据治理产品---睿治是是亿信华辰自主研发的由多个产品组成的数据全生命周期管理应用平台，也是目前国内功能齐全的数据治理工具，助力数据标准落地，提升数据质量。