数据质量管理方法

1.数据质量管理框架
数据质量闭环管理机制以制定规则、问题发现、质量剖析、数据清理、评估验证、持续监控为核心活动（图2），又结合银行的数据实践进行了定制和优化。通常戴明环的四个活动是计划-实施-检查-行动，从质量管理角度出发执行循环工作机制。目前银行数据需求情况复杂多样，通过分析数据质量问题级别进行分类，有大规模跨部门的系统级建设或改造需求，也有业务口径、技术口径确定等中等问题，还有小范围的标准代码值修改等轻微问题，为此闭环机制在设计和实践中要充分考虑多种需求。

分解管理框架中的各项活动，首先是根据企业数据标准制定数据质量校验的业务和技术规则，以及对应的数据质量问题发现及管理；然后按照数据质量维度对抽样或全局数据进行剖析，并结合评估验证进行数据清理；最后通过数据质量持续监控，以数据质量报告的形式汇报并反映数据质量的状况及问题。数据全过程质量管理框架以改进数据质量为目标，确保数据的准确、完整、一致和及时性。通过制定数据质量关键性能指标或积分卡，评估数据质量的改善情况，并形成常态化数据质量管理闭环机制，以凸显数据质量管理的长效机制。

2.数据质量管理策略
从数据管理能力角度分析，数据质量管理策略主要负责质量剖析、评估、清理三项管理内容。在具体实践中，数据质量管理主要分为事件式驱动与主动管理两种模式。事件式驱动适合所有的应用场景，根据实际应用产生的各种数据质量需求均可纳入数据质量管理机制，通过相对固定的流程来解决。主动管理适用的范围相对严格一些，必须有明确的目标导向，以充分利用资源和能力。

目前适合银行的数据质量主动管理主要偏重基础数据和监管报送数据，二者都有明确的要求，能够清晰的制定度量规则，并且整个管理过程也满足数据治理的现状。在数据应用流程中的数据服务、分析、挖掘等工作中，应将数据质量剖析、评估活动纳入正常工作流程，将其中不满足要求的数据问题反馈给数据质量管理人员，纳入闭环工作机制进行处理。

分析数据质量管理对象，首先要重点监控企业现有数据资产的情况，结合数据质量剖析、验证、清理等活动，结合数据分析应用保障数据价值实现；其次，还要充分考虑新数据源的加入，结合元数据相关内容探测数据变化，及时揭示数据质量风险并纳入管理机制。

3.数据质量指标定义
低质量的数据会影响业务目标的完成，数据质量管理人员必须找到并使用数据质量指标，报告数据缺陷与受影响业务目标之间的关系。定义数据质量指标的过程存在着挑战，识别并管理业务相关的数据质量指标，可以与监控业务活动绩效相类比，数据质量指标应该合理地反映数据质量情况，为数据质量管理提供量化依据。

在定义数据质量指标的过程中，需要充分考虑可度量性、业务相关性、可接受程度、可控性、可追踪性等特性，并与数据认责制度充分结合。首先需要分析业务影响，并评估相关的数据元素以及数据生命周期流程；其次针对每个数据元素，列出与之相关的数据需求，并定义数据质量维度以及业务规则；最后针对业务规则，描述度量需求满足度的流程，并定义可接受程度的阈值。

4.数据质量剖析方法
企业数据质量的剖析方法主要包括三种，具体为字段剖析、记录剖析和表间剖析，通常能够覆盖所有的数据资产。实际管理中数据质量剖析用于判断质量情况，为后续的数据质量验证及数据质量清理提供依据，并且数据质量监控规则的制定提供技术口径。

字段剖析用于分析数据记录中的字段，将提供诸如完整性、数据类型、大小、长度、唯一值和频率分布列表、模式、最大和最小范围。字段剖析可用于发现数据质量问题，核实数据与预期值的符合性，并比较实际数据和目标需求。

记录剖析用于分析表格或文件内部字段之间的关联关系，进而能够发现实际数据结构、函数依赖关系、主键和数据结构中存在的质量问题，也可用于预测预期用户对数据的依赖关系。

表间分析用于比较表格或文件之间的数据，确定重叠的或相同的数值集，识别重复值或指出外键，判断数据的一致性等。表间剖析的结果可以帮助标准化数据模型，在模型中消除无用的冗余。

5.数据质量监控技术
在数据质量监控环节将数据质量控制和测量流程嵌入到信息处理流程，从而实现可持续的质量监控。依据数据粒度分布情况，采用两种形式来监控数据质量满足业务要求的情况。结合数据质量剖析方法，有字段、记录、表间三种粒度数据质量监控方法，对应的评价指标对应覆盖字段数据值、数据记录以及完整的数据集。

根据监控目标，数据质量监控分为常规闭环监控以及批量运动式两种，这与数据质量的需求来源保持对应关系。企业整体数据质量要求通过闭环机制进行持续监控推进，支持业务运营和基础的数据应用；对于数据分析、挖掘探索对应的质量需求，以及系统建设的需求，可以通过批量式以项目重要环节的形式完成质量监控。