数据治理管理干货 | 数据质量管理的方法
发布时间:2021.06.22来源:亿信数据治理知识库浏览量:107次标签:数据治理
数据质量管理是数据治理中的重要步骤。这是准备数据以符合质量标准(例如有效性,均匀性,准确性,一致性和完整性)的过程。数据质量管理可从数据集中删除不需要的,重复的和不正确的数据,从而帮助分析师获得更加准确的数据。
企业中的大多数使用高级数据工具来收集大量数据。原始数据通常包含错误,如果不做数据质量管理,可能会导致错误的结果。数据质量管理是数据治理中获得正确上下文和结论的基本步骤。
一、数据质量管理的方法之设置质量标准
数据质量管理的第一步是建立一套质量标准。必须明确定义标准,以从数据集中过程中过滤掉“脏数据”。您可以定义以下几个条件。
数据约束:有多种类型的数据约束可确保收集的数据具有最佳质量,例如:
· 数据类型约束:仅限于注册值的范围,例如布尔值,数字,日期等。
· 范围限制:数值不是绝对的,而是具有最小和/或最大允许值。
· 强制性约束:必须填写所有列。
· 唯一性约束:每个字段或字段组合在整个数据集中都必须是唯一的。
· 成员资格约束:每列中的一组离散值或代码。
· 外键约束:子值可以通过一组允许值添加到其他列。
· 正则表达式模式:设置允许的模式,例如电话号码,站号,密码等模式。
设置数据约束有助于在数据收集过程的一开始就保持数据质量。
二、数据质量管理的方法之确保准确性
尽管数据约束在一定程度上确保了正确的数据值,但考虑到该领域的主观方面,准确性仍然是一个挑战。例如,如果必须填写街道地址,则设置模式约束有助于确保密码和状态正确,但是街道地址可能不正确。
进一步有可能规避图案。例如,尽管电话号码格式正确,但是该电话号码可能不正确或无法操作。
三、数据质量管理的方法之删除重复数据
当您组合多个数据集以生成洞察力时,数据集中就会出现重复。重复的数据可能是数据不完整的结果,也可能是数据结构中的问题。例如,在医院数据集中,如果同一位患者因其他疾病而来访,您可能不希望将其视为来自同一位置,具有相同电话号码的两名不同患者。此类数据重复会产生偏差,从而大范围地影响结果。
四、数据质量管理的方法之仅接受完整数据
尽管大多数软件工具不接受不完整的数据,但是使用电子表格或基于纸张的表格可能会导致数据不完整。例如,在维护检查表中,由于信息的不了解或不可用,所提供的问题或解决方案的类型可能不会描述为完整的字段或某些空白字段。
五、数据质量管理的方法之保持一致性和统一性
当不同字段中的两个值相互矛盾时,数据不一致。合并多个部门或时间范围的数据时,会发生这种情况。例如,在旧数据中,员工的名称必须与现在的名称不同。如果数据未正确排序,则此类问题可能会影响数据的结果。
数据的一致性是指度量单位。数据的一致性和统一性对于获得准确的结果至关重要。
六、数据质量管理的方法之提高准确性
数据质量管理是一个三步过程,其中包括考虑上述所有条件以维护数据完整性。根据上述标准收集数据后,可以采取以下措施来提高准确性。
· 检验:执行检验以检测整个质量标准中数据的不准确性
· 清理:从数据集中删除异常
· 验证:对清洁过程进行交叉验证,以确保消除了每个方面的不准确性和不一致性
· 报告:创建有关所做的更改以及有关系统中记录的数据的当前质量的报告。
数据质量管理必须是一个连续的过程,因为时间,情况会发生变化,并且会影响记录的数据质量。过时的旧数据可能没有帮助。例如,如果您不更新自己的现场销售CRM数据,从长远来看,可能会影响您的销售潜力。
定期进行数据治理管理有助于您获得准确的见解。准确的数据会助力您的业务决策并成功推动您的战略。
七、数据质量管理平台工具介绍
亿信华辰数据质量管理以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。亿信华辰数据质量管理平台案例如下:
了解更多数据质量管理平台案例:https://www.esenruizhi.com/products/esdataclean.html
-
做好大数据治理才能建设好大数据平台
数据量不断的增加,对数据分析和管理带来了挑战,分析数据背后的价值也为企业发展,社会进步带来了机遇。因此各行各业开始建设大数据平台,大数据……查看详情发布时间:2019.08.15来源:知乎浏览量:100次
-
数据管理能力成熟度评估模型
数据管理能力成熟度评估模型,中华人民共和国国家质量监督检验检疫总局,中国国家标准化管理委员会发布。……查看详情发布时间:2019.09.02来源:GB/T36073—2018浏览量:283次
-
如何做好企业数据标准化管理
中期规划要形成业务标准与技术标准对接机制,特别是如何处理存量业务标准的问题,例如,现有“客户地址”信息项有多种不同的技术标准,如何形成统……查看详情发布时间:2020.04.28来源:知乎浏览量:112次
-
企业架构组织的创新能力如何?
回想一下最新的企业架构文章,博客文章,甚至是你读过的职位描述,并算一下至少一次没有提到“创新”的内容?我猜测,“创新”往往被作为有效企业……查看详情发布时间:2019.02.26来源:亿信华辰浏览量:96次
-
元数据管理流程和方法是怎样的
大数据环境中,如果企业不通过元数据管理把多种复杂的信息管理起来,很难做到信息的有效利用。Gartner在研究报告里明确指出,“元数据管理……查看详情发布时间:2022.03.21来源:小亿浏览量:440次
-
大数据治理需要具备哪些能力和关键技术
从企业的数据资产管理和提升数据质量等的数据应用上,大数据治理的内容在不断地发展和完善,在其落地实施的过程中面临着巨大的挑战。我们现在通过……查看详情发布时间:2019.08.13来源:知乎浏览量:101次
-
如何构建我国的数据治理体系
公司应该考虑它是否有数据治理政策,如果有,是否全面有效。数据治理政策已成为监管期望,作为核心质量体系政策之一。企业应根据对流程的理解和技……查看详情发布时间:2019.08.16来源:知乎浏览量:96次
-
什么是敏捷数据管理?敏捷数据管理的技术原则
在大数据的时代,大家都在重视数据存储和大数据相关技术的同时,都开始注重建设数据管理能力。在海量复杂数据的场景下,如果没有有效的管理,那么……查看详情发布时间:2022.03.03来源:小亿浏览量:170次