数据治理管理干货 | 数据质量管理的方法

数据质量管理是数据治理中的重要步骤。这是准备数据以符合质量标准（例如有效性，均匀性，准确性，一致性和完整性）的过程。数据质量管理可从数据集中删除不需要的，重复的和不正确的数据，从而帮助分析师获得更加准确的数据。

企业中的大多数使用高级数据工具来收集大量数据。原始数据通常包含错误，如果不做数据质量管理，可能会导致错误的结果。数据质量管理是数据治理中获得正确上下文和结论的基本步骤。

一、数据质量管理的方法之设置质量标准

数据质量管理的第一步是建立一套质量标准。必须明确定义标准，以从数据集中过程中过滤掉“脏数据”。您可以定义以下几个条件。

数据约束：有多种类型的数据约束可确保收集的数据具有最佳质量，例如：

· 数据类型约束：仅限于注册值的范围，例如布尔值，数字，日期等。

· 范围限制：数值不是绝对的，而是具有最小和/或最大允许值。

· 强制性约束：必须填写所有列。

· 唯一性约束：每个字段或字段组合在整个数据集中都必须是唯一的。

· 成员资格约束：每列中的一组离散值或代码。

· 外键约束：子值可以通过一组允许值添加到其他列。 

· 正则表达式模式：设置允许的模式，例如电话号码，站号，密码等模式。

设置数据约束有助于在数据收集过程的一开始就保持数据质量。

二、数据质量管理的方法之确保准确性

尽管数据约束在一定程度上确保了正确的数据值，但考虑到该领域的主观方面，准确性仍然是一个挑战。例如，如果必须填写街道地址，则设置模式约束有助于确保密码和状态正确，但是街道地址可能不正确。

进一步有可能规避图案。例如，尽管电话号码格式正确，但是该电话号码可能不正确或无法操作。     

三、数据质量管理的方法之删除重复数据 

当您组合多个数据集以生成洞察力时，数据集中就会出现重复。重复的数据可能是数据不完整的结果，也可能是数据结构中的问题。例如，在医院数据集中，如果同一位患者因其他疾病而来访，您可能不希望将其视为来自同一位置，具有相同电话号码的两名不同患者。此类数据重复会产生偏差，从而大范围地影响结果。

四、数据质量管理的方法之仅接受完整数据 

尽管大多数软件工具不接受不完整的数据，但是使用电子表格或基于纸张的表格可能会导致数据不完整。例如，在维护检查表中，由于信息的不了解或不可用，所提供的问题或解决方案的类型可能不会描述为完整的字段或某些空白字段。

五、数据质量管理的方法之保持一致性和统一性

当不同字段中的两个值相互矛盾时，数据不一致。合并多个部门或时间范围的数据时，会发生这种情况。例如，在旧数据中，员工的名称必须与现在的名称不同。如果数据未正确排序，则此类问题可能会影响数据的结果。

数据的一致性是指度量单位。数据的一致性和统一性对于获得准确的结果至关重要。

六、数据质量管理的方法之提高准确性

数据质量管理是一个三步过程，其中包括考虑上述所有条件以维护数据完整性。根据上述标准收集数据后，可以采取以下措施来提高准确性。  

· 检验：执行检验以检测整个质量标准中数据的不准确性

· 清理：从数据集中删除异常

· 验证：对清洁过程进行交叉验证，以确保消除了每个方面的不准确性和不一致性

· 报告：创建有关所做的更改以及有关系统中记录的数据的当前质量的报告。

数据质量管理必须是一个连续的过程，因为时间，情况会发生变化，并且会影响记录的数据质量。过时的旧数据可能没有帮助。例如，如果您不更新自己的现场销售CRM数据，从长远来看，可能会影响您的销售潜力。

定期进行数据治理管理有助于您获得准确的见解。准确的数据会助力您的业务决策并成功推动您的战略。

七、数据质量管理平台工具介绍

亿信华辰数据质量管理以数据标准为数据检核依据，以元数据为数据检核对象，通过向导化、可视化等简易操作手段，将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合，形成完整的数据质量管理闭环。亿信华辰数据质量管理平台案例如下：

了解更多数据质量管理平台案例：https://www.esenruizhi.com/products/esdataclean.html