数据治理管理干货 | 数据质量管理的方法
发布时间:2021.06.22来源:亿信数据治理知识库浏览量:87次标签:数据治理
数据质量管理是数据治理中的重要步骤。这是准备数据以符合质量标准(例如有效性,均匀性,准确性,一致性和完整性)的过程。数据质量管理可从数据集中删除不需要的,重复的和不正确的数据,从而帮助分析师获得更加准确的数据。
企业中的大多数使用高级数据工具来收集大量数据。原始数据通常包含错误,如果不做数据质量管理,可能会导致错误的结果。数据质量管理是数据治理中获得正确上下文和结论的基本步骤。
一、数据质量管理的方法之设置质量标准
数据质量管理的第一步是建立一套质量标准。必须明确定义标准,以从数据集中过程中过滤掉“脏数据”。您可以定义以下几个条件。
数据约束:有多种类型的数据约束可确保收集的数据具有最佳质量,例如:
· 数据类型约束:仅限于注册值的范围,例如布尔值,数字,日期等。
· 范围限制:数值不是绝对的,而是具有最小和/或最大允许值。
· 强制性约束:必须填写所有列。
· 唯一性约束:每个字段或字段组合在整个数据集中都必须是唯一的。
· 成员资格约束:每列中的一组离散值或代码。
· 外键约束:子值可以通过一组允许值添加到其他列。
· 正则表达式模式:设置允许的模式,例如电话号码,站号,密码等模式。
设置数据约束有助于在数据收集过程的一开始就保持数据质量。
二、数据质量管理的方法之确保准确性
尽管数据约束在一定程度上确保了正确的数据值,但考虑到该领域的主观方面,准确性仍然是一个挑战。例如,如果必须填写街道地址,则设置模式约束有助于确保密码和状态正确,但是街道地址可能不正确。
进一步有可能规避图案。例如,尽管电话号码格式正确,但是该电话号码可能不正确或无法操作。
三、数据质量管理的方法之删除重复数据
当您组合多个数据集以生成洞察力时,数据集中就会出现重复。重复的数据可能是数据不完整的结果,也可能是数据结构中的问题。例如,在医院数据集中,如果同一位患者因其他疾病而来访,您可能不希望将其视为来自同一位置,具有相同电话号码的两名不同患者。此类数据重复会产生偏差,从而大范围地影响结果。
四、数据质量管理的方法之仅接受完整数据
尽管大多数软件工具不接受不完整的数据,但是使用电子表格或基于纸张的表格可能会导致数据不完整。例如,在维护检查表中,由于信息的不了解或不可用,所提供的问题或解决方案的类型可能不会描述为完整的字段或某些空白字段。
五、数据质量管理的方法之保持一致性和统一性
当不同字段中的两个值相互矛盾时,数据不一致。合并多个部门或时间范围的数据时,会发生这种情况。例如,在旧数据中,员工的名称必须与现在的名称不同。如果数据未正确排序,则此类问题可能会影响数据的结果。
数据的一致性是指度量单位。数据的一致性和统一性对于获得准确的结果至关重要。
六、数据质量管理的方法之提高准确性
数据质量管理是一个三步过程,其中包括考虑上述所有条件以维护数据完整性。根据上述标准收集数据后,可以采取以下措施来提高准确性。
· 检验:执行检验以检测整个质量标准中数据的不准确性
· 清理:从数据集中删除异常
· 验证:对清洁过程进行交叉验证,以确保消除了每个方面的不准确性和不一致性
· 报告:创建有关所做的更改以及有关系统中记录的数据的当前质量的报告。
数据质量管理必须是一个连续的过程,因为时间,情况会发生变化,并且会影响记录的数据质量。过时的旧数据可能没有帮助。例如,如果您不更新自己的现场销售CRM数据,从长远来看,可能会影响您的销售潜力。
定期进行数据治理管理有助于您获得准确的见解。准确的数据会助力您的业务决策并成功推动您的战略。
七、数据质量管理平台工具介绍
亿信华辰数据质量管理以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。亿信华辰数据质量管理平台案例如下:
了解更多数据质量管理平台案例:https://www.esenruizhi.com/products/esdataclean.html
-
数据治理、共享交换、数据仓库、数据中心的关系
建数据中心离不开数据,以前设计数据库都是从事务性数据库考虑(做的都是业务系统,思维模式太固定了),没有从数据仓库的角度来统管分析。以下是……查看详情发布时间:2019.08.07来源:CSDN浏览量:101次
-
金融行业数据治理与安全防护解决方案
在金融业各类涉及商业秘密和敏感数据的信息在处理、共享和使用过程中面临违规越权使用或被用于非法用途等数据泄漏的安全风险。一方面,数据处理过……查看详情发布时间:2019.09.30来源:CSDN浏览量:82次
-
为什么你应该有一个数据治理策略
垃圾进垃圾出。自打孔卡和电传终端以来,这个座右铭一直是真实的。如今,复杂的IT系统同样依赖于高质量的数据,无论是在会计,生产还是商业智能……查看详情发布时间:2018.11.22来源:数据治理浏览量:97次
-
企业数据治理的目的、意义及挑战有哪些?
随着大数据相关技术的不断成熟,数据作为一种资产,得到了越来越多企业机构的重视,为了能够有效的利用数据资产,数据治理成了当下政府和企业重点……查看详情发布时间:2022.05.11来源:小亿浏览量:373次
-
大数据平台下的企业的数据治理
数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据……查看详情发布时间:2018.11.28来源:数据治理浏览量:77次
-
数据质量—并非所有数据都是平等的
数据质量是调节数据以满足业务用户特定需求的过程。准确性,完整性,一致性,及时性,唯一性和有效性是数据质量的主要衡量标准。……查看详情发布时间:2019.04.04来源:亿信华辰浏览量:91次
-
数据治理框架:它是什么,我已经拥有它?
由于第一个人在第一台计算机上打开了电源开关,IT和业务部门已决定如何处理由技术使用和创建的数据。虽然您不再提交穿孔卡或存档磁带(可能),……查看详情发布时间:2018.12.27来源:数据治理浏览量:83次
-
区块链和AI如何帮助掌握数据管理
主数据很容易成为企业拥有的最重要的资产之一。随着数字化的不断发展和第四次工业革命的到来,主数据的价值和主数据管理的重要性才会增长。在我们……查看详情发布时间:2019.07.11来源:福布斯浏览量:55次
-
政务数据治理真落地!让数据多跑路,让群众少跑腿
DT时代,人们对“大数据”一词已不再陌生,但“数据治理是什么?数据治理和我们有什么关系?”,恐怕普通大众还是很难说清楚。实际上,现在已经……查看详情发布时间:2019.11.20来源:亿信华辰浏览量:80次
-
数据中台与数据治理的关系:数据中台之数据治理
结合数据中台开展数据治理,集中资源、目标一致的开展数据治理工作,可以加快数据治理进程、加强数据治理效果,同时通过数据治理优化数据中台的数……查看详情发布时间:2021.08.13来源:亿信华辰浏览量:146次