数据治理管理干货 | 数据质量管理的方法

发布时间:2021.06.22来源:亿信数据治理知识库浏览量:147次标签:数据治理

数据质量管理数据治理的重要步骤。这是准备数据以符合质量标准(例如有效性,均匀性,准确性,一致性和完整性)的过程。数据质量管理可从数据集中删除不需要的,重复的和不正确的数据,从而帮助分析师获得更加准确的数据

企业中的大多数使用高级数据工具来收集大量数据。原始数据通常包含错误,如果不做数据质量管理,可能会导致错误的结果。数据质量管理是数据治理中获得正确上下文和结论的基本步骤。

一、数据质量管理的方法之设置质量标准

数据质量管理的第一步是建立一套质量标准。必须明确定义标准,以从数据集中过程中过滤掉“脏数据”。您可以定义以下几个条件。

数据约束:有多种类型的数据约束可确保收集的数据具有最佳质量,例如:

· 数据类型约束:仅限于注册值的范围,例如布尔值,数字,日期等。

· 范围限制:数值不是绝对的,而是具有最小和/或最大允许值。

· 强制性约束:必须填写所有列。

· 唯一性约束:每个字段或字段组合在整个数据集中都必须是唯一的。

· 成员资格约束:每列中的一组离散值或代码。

· 外键约束:子值可以通过一组允许值添加到其他列。 

· 正则表达式模式:设置允许的模式,例如电话号码,站号,密码等模式。

设置数据约束有助于在数据收集过程的一开始就保持数据质量。

二、数据质量管理的方法之确保准确性

尽管数据约束在一定程度上确保了正确的数据值,但考虑到该领域的主观方面,准确性仍然是一个挑战。例如,如果必须填写街道地址,则设置模式约束有助于确保密码和状态正确,但是街道地址可能不正确。

进一步有可能规避图案。例如,尽管电话号码格式正确,但是该电话号码可能不正确或无法操作。     

三、数据质量管理的方法之删除重复数据 

当您组合多个数据集以生成洞察力时,数据集中就会出现重复。重复的数据可能是数据不完整的结果,也可能是数据结构中的问题。例如,在医院数据集中,如果同一位患者因其他疾病而来访,您可能不希望将其视为来自同一位置,具有相同电话号码的两名不同患者。此类数据重复会产生偏差,从而大范围地影响结果。

四、数据质量管理的方法之仅接受完整数据 

尽管大多数软件工具不接受不完整的数据,但是使用电子表格或基于纸张的表格可能会导致数据不完整。例如,在维护检查表中,由于信息的不了解或不可用,所提供的问题或解决方案的类型可能不会描述为完整的字段或某些空白字段。

五、数据质量管理的方法之保持一致性和统一性

当不同字段中的两个值相互矛盾时,数据不一致。合并多个部门或时间范围的数据时,会发生这种情况。例如,在旧数据中,员工的名称必须与现在的名称不同。如果数据未正确排序,则此类问题可能会影响数据的结果。

数据的一致性是指度量单位。数据的一致性和统一性对于获得准确的结果至关重要。

六、数据质量管理的方法之提高准确性

数据质量管理是一个三步过程,其中包括考虑上述所有条件以维护数据完整性。根据上述标准收集数据后,可以采取以下措施来提高准确性。  

· 检验:执行检验以检测整个质量标准中数据的不准确性

· 清理:从数据集中删除异常

· 验证:对清洁过程进行交叉验证,以确保消除了每个方面的不准确性和不一致性

· 报告:创建有关所做的更改以及有关系统中记录的数据的当前质量的报告。

数据质量管理必须是一个连续的过程,因为时间,情况会发生变化,并且会影响记录的数据质量。过时的旧数据可能没有帮助。例如,如果您不更新自己的现场销售CRM数据,从长远来看,可能会影响您的销售潜力。

定期进行数据治理管理有助于您获得准确的见解。准确的数据助力您的业务决策并成功推动您的战略。

七、数据质量管理平台工具介绍

亿信华辰数据质量管理以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。亿信华辰数据质量管理平台案例如下:

数据质量管理案例.jpg

了解更多数据质量管理平台案例:https://www.esenruizhi.com/products/esdataclean.html

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • [数据治理方法论]6点数据治理最佳实施方法

    [数据治理方法论]6点数据治理最佳实施方法

    在寻找数据治理最佳实施方法时,您可以从其他通过数据治理项目的各种流程和模型中学到东西。尽管每个企业都不同,但仍有可借鉴之处,因此无需完全……查看详情

    发布时间:2021.05.28来源:亿信数据治理知识库浏览量:181次

  • 数字信任:通过数据治理获取并保持数字化

    数字信任:通过数据治理获取并保持数字化

    数字信任可以成就或打破品牌。……查看详情

    发布时间:2019.01.27来源:亿信华辰浏览量:139次

  • 企业架构与数据治理:探索链接

    企业架构与数据治理:探索链接

    从公司意义上讲,创新管理是通过采用创新的想法,产品,流程和业务模型,快速有效地实现组织目标。大多数组织开始意识到,为了推动业务增长并保持……查看详情

    发布时间:2019.02.19来源:亿信华辰浏览量:134次

  • 数据在数字化转型时代的作用

    数据在数字化转型时代的作用

    说今天的商业环境变得极具竞争力可能是轻描淡写的,那些没有不断重塑业务的公司 - 以核心数据 - 最终会在市场中断的同时观望。数据技术,科……查看详情

    发布时间:2019.03.12来源:亿信华辰浏览量:120次

  • 业务词汇表和元数据:数据治理和词汇表准备

    业务词汇表和元数据:数据治理和词汇表准备

    如果您能说出数据治理计划的目标并拥有赞助组织,那么您可能已经准备好了 在回答How,When和Where问题之前,您需要回答Why,Wh……查看详情

    发布时间:2019.01.22来源:亿信华辰浏览量:125次

  • 四说大数据时代“神话”:从大数据到深数据

    四说大数据时代“神话”:从大数据到深数据

    为国内最大的电商平台之一,苏宁每天要处理数量巨大的数据。为了更快速高效地处理这些数据,苏宁调度平台采取了哪些措施呢?……查看详情

    发布时间:2019.02.14来源:亿信华辰浏览量:117次

  • 让数据中心甩掉能耗沉重账单

    让数据中心甩掉能耗沉重账单

    当今,全世界新产生的数据正以惊人速度增长。据统计,平均每11个月全世界的数据量即将翻倍,而且随着时间的发展,这个周期还在缩短。这意味着我……查看详情

    发布时间:2019.03.11来源:亿信华辰浏览量:116次

  • 数据共享,奇葩证明的解药——亿信华辰

    数据共享,奇葩证明的解药——亿信华辰

    出境旅游,要求出具“母子关系证明”;市民迁户口,要证明“你爸是你爸”;车在大风中被树木刮伤,理赔要出示“风力证明”;去买房,要证明“结婚……查看详情

    发布时间:2019.03.04来源:亿信华辰浏览量:123次

  • 数据治理概述

    数据治理概述

    每天,大学的数据都会被评估,创建,使用,存储,存档,报告或删除。数据治理为罗切斯特的这些信息的定义,交换,完整性和安全性设定了标准和协议……查看详情

    发布时间:2018.11.26来源:数据治理浏览量:198次

  • 构建成功的数据治理策略

    构建成功的数据治理策略

    随着组织继续努力解决他们的分析过程,他们开始意识到他们需要退后一步,从头开始重新思考他们的数据策略。当他们这样做,并从一开始就通过良好的……查看详情

    发布时间:2019.02.27来源:亿信华辰浏览量:177次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议