数据治理|如何做好数据质量管理

监管数据质量非常重要，已上升至中央层面，其重要性不言而喻。

一、什么是数据质量管理

数据质量包含两个方面：数据自身的质量和数据使用过程标准规范。数据质量管理是一个集方法论、管理、技术和业务为一体，对数据在每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列管理过程，并通过改善和提高组织的管理水平确保数据质量的提升。

二、数据质量问题来源

1、数据量过大：过大数据量会使数据消费者难以在合理的时间内获得所需的数据。

2、数据的多源性：当同一个数据有多个数据来源时，很可能会导致不同的值，这在系统设计和业务流程设计时都可能会引起这一问题。

3、计算资源有限：缺乏足够的计算资源会限制相关数据的可访问性。

4、数据生成过程中的主观判断：如果在数据的生成过程中包含主观判断结果，那么会导致数据中含有主观偏见因素。

5、安全性和可访问性之间的权衡：对数据消费者而言，必须能够访问高质量的数据；同时，出于保护隐私、保密和安全性的考量，必须对访问设置权限。因此，高质量的数据可访问性与数据的安全性之间就产生了冲突。

6、分布式异构系统：对于分布式、异构的数据系统，缺乏适当的整合机制会导致其内部出现数据定义、格式、规则和值的不一致性。跨系统的查询和汇总数据往往需要太多的时间，降低了数据的可访问性。

三、数据质量管理方法

1、建立质量管控流程和规范

明确质量管控的角色、职责，建立可执行的工作流程、可量化的工作评估等关于数据质量管控办法，同时也应具备绩效考核、冲突解决与管控方式等。

2、执行管理工作

1）数据剖析

进行已知数据问题的评估，评估的范围控制在本轮管控的目标范围内。通过对数据进行剖析，发现数据问题，具体规则又可通过标准或业务调研进行提取。

2）设计数据质量控制操作程序

获得已知数据问题后，就应设计数据质量控制操作程序。主要包括制定质量问题评估方式和整改方式、制定质量报告内容及对象以及制定检查和监控的频率及方式。

3）定义数据质量需求

根据剖析的质检规则和控制操作程序，对数据质量需求进行定义。

4）确定数据质量水平

数据质量需求定义完毕之后，我们就需要确定在此需求下，目前数据质量的水平处于什么位置。明确反应质量水平的并最直观的就是错误数据的详情情况。

5）管理数据质量问题

问题找到后，针对根据不同的质量问题，进行不同的质量整改方案。比如：源头修改、补录、技术修复以及遗留问题管控等。

3、检查数据质量

首先确定整改质量，对处理后的数据进行再次质检，出具数据质量的报告；然后，对比处理前后效果，总结改进措施；最后，检查数据质量是否合格，分析不合格原因并下一轮管控中进行技术上或者操作程序上的改进。

4、监控数据质量，控制管理程序和绩效

根据既定的操作程序，对质量管控过程中各个环节参与者进行绩效评估。还可以根据不同时期的重点制定不同的评分标准，有针对性的进行评价和管控，如整改初期数据缺失严重，则可对完整性规则权重调大，以期更快看到成效或者达到更好的效果。

四、小结

数据质量管控在数据治理体系中占据了十分重要的地位，是看见实质成效最快的一环，也是数据治理过程中的重要一环，亿信华辰睿治智能数据治理平台，是一款融合数据治理十大产品模块，覆盖数据全生命周期管理的应用平台，其中也包括了数据质量模块，可帮助政企有效提升数据质量，挖掘数据价值。