如何保证数据质量、数据治理:让数据质量更好

发布时间:2019.09.12来源:知乎浏览量:140次标签:数据治理

数据分析、数据挖掘等各种数据应用都离不开数据质量,数据质量的重要性不用多表。今天来浅谈如何通过数据治理,来保证数据质量。数据的生命周期往往会有以下4个过程:数据的产生、存储、加工和应用。 数据质量在这四个环节均会产生,所以需要有不同的手段。

1、数据产生阶段
这个阶段是数据质量问题的重灾区,无论是手工录入的数据,还是生产系统产生的数据,都会因为各种原因导致数据质量问题,比如手抖输错、生产系统波动等。对于这个阶段的问题,我们对应的手段是:控制输入

对于手动录入的数据,尽可能的使用非开放式的输入手段,如下拉菜单、单复选框、时间控件、标签(支持自定义学习型)等,必须开放的输入部分,进行必要的及时校验。另外在数据进入系统前,可以设立监控点,出现错误数据可以及时预警(邮件、信息手段进行通知)。

2、数据存储阶段
方法:数据统一及数据清洗
在数据仓库或数据中心建立时,就按照数据标准对关键字段进行统一命名、格式、精度等,排除数据的歧义。
对于已经存储在数仓中的数据,发现质量问题,就得使用数据质量管控工具了,这里推荐亿信睿治数据治理平台中的数据质量模块,可以很方便的检查出数据质量问题,且内置了丰富的清洗组件,不需要使用代码就可以完成对于大多数数据质量问题的便捷清洗。

3、数据加工阶段的质量管控手段
方法:数据质量管理工具
这个阶段的数据会经历很多过程,比如被引用,指标计算,从ODS层到集市层等,通过人力来管理的话,人力成本太高了。在这里还是推荐睿治数据治理平台的数据质量模块(没办法,的确好用),此软件数据质量功能模块支持在数据流向的各个节点进行数据质量监测,不仅可以进行实时数据质量的预警,还可以对已有数据进行数据质量校验,内置了很多种数据质量规则,没有研发经验的也能用得飞起,对技术小白很友好。

4、数据应用阶段的质量管理手段
数据使用阶段还需要质量管理?当然!
无论是在数据分析还是数据挖掘之后,结果自然是要保存下来的,此时的数据仍然要按照标准,进行规范的管理,无论是存储结果的表名,还是字段、格式等。此外,在数据分析、挖掘的时候,也会有新的数据产生,此时依然需要进行标准化之后进行统一管理。有新的数据质量问题产生,仍然需要想应的数据清洗工具进行清洗后再保存。

写在最后,数据质量问题对于很多企业已经是迫在眉睫需要解决的问题了,是时候开展数据治理了。话分两头讲,对于已有数据,通过数据质量管理工具进行校验和清洗,另外建立数据质量管控体系,通过PDCA闭环结构不断地提升数据质量;

数据质量
另外对于系统原因造成的数据质量问题,我们需要建立数据标准体系,对于可以改造的生产系统,在数据标准的指导下进行改造,对于不能改造的系统,通过一些技术手段进行清洗转换,在数据产生的环节把控数据质量,这样效率必然是最高的。

数据质量的提升并不是一蹴而就的,做一次数据整改就能解决所有数据质量问题。而是需要通过数据标准和数据质量建立起完善的数据质量管控体系,在各个环节进行监控,定期检查数据质量,确定解决方案,并加以改进。数据质量管理的平台工具,笔者在这里推荐一下亿信华辰的睿治数据治理平台,该平台内置了13中数据质量检查规则,可根据实际需求建立完善的质检方案,精准识别和定位数据质量问题,并可直接关联数据质量整改工作流,帮助企业提升数据质量。质量乃数据之根本,没有质量,数据便不可信,在此之上的数据分析、数据挖掘更是一纸空谈,甚至是大谬论。提升数据质量,建立起可信的企业级大数据势在必行。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 快速理解数据仓库、数据湖、数据工厂、数据中台

    快速理解数据仓库、数据湖、数据工厂、数据中台

    数据生产的整个链条中,对于如何筑湖、如何选址建厂、按什么工序加工、以及如何配送,这是技术部门的事情,而“数据半成品”的沉淀和积累,却不是……查看详情

    发布时间:2021.04.13来源:亿信数据治理知识库浏览量:167次

  • 金融行业大数据标准体系设计

    金融行业大数据标准体系设计

    金融大数据标准体系可分为基础标准、业务标准、治理标准和技术标准四大类。各类标准之间相互联系、相互约束、相互补充,共同构成完整的统一体。同……查看详情

    发布时间:2019.12.27来源:CSDN浏览量:156次

  • 数据中台与数据治理的关系:数据中台之数据治理

    数据中台与数据治理的关系:数据中台之数据治理

    结合数据中台开展数据治理,集中资源、目标一致的开展数据治理工作,可以加快数据治理进程、加强数据治理效果,同时通过数据治理优化数据中台的数……查看详情

    发布时间:2021.08.13来源:亿信华辰浏览量:197次

  • 企业的元数据和元数据管理平台介绍

    企业的元数据和元数据管理平台介绍

    元数据管理是做什么?元数据在数据平台对原信息的收集、汇总和传递将数据平台各个模块整合起来。元数据管理系统是收集线上db、solor集群、……查看详情

    发布时间:2020.08.31来源:CSDN浏览量:129次

  • 数据管理危险:不到一半的MDM计划是有效的

    数据管理危险:不到一半的MDM计划是有效的

    您可能不认为“数据治理”是一个重要的主题。特别是当你的IT预算火灾肆虐或者你计划下周的裁员时。……查看详情

    发布时间:2018.12.29来源:亿信华辰浏览量:104次

  • 数据治理、数据管理、数据管控

    数据治理、数据管理、数据管控

    数据治理、数据管理、数据管控这三个名词在一定程度上的确是有所重叠的,容易混为一谈,所以就造成了在实际使用中,经常将这三个词语“混着用”、……查看详情

    发布时间:2021.03.06来源:知乎浏览量:159次

  • 敏捷/精益数据治理最佳实践

    敏捷/精益数据治理最佳实践

    数据治理 的目标 是确保组织内的质量,可用性,完整性,安全性和可用性。你对此的看法取决于你。许多传统的数据治理方法似乎在实践中都很困难,……查看详情

    发布时间:2018.12.18来源:数据治理浏览量:111次

  • 大数据行业必备书目:《数据治理知识图谱》限量首发,0元领

    大数据行业必备书目:《数据治理知识图谱》限量首发,0元领

    为了让数据不再熵增,助力政企数字化转型,我们将此心血集结成册,行业首发《数据治理知识图谱》,DAMA中国区主席汪广盛倾情推荐,限量300……查看详情

    发布时间:2021.07.14来源:亿信华辰浏览量:134次

  • 国内成熟的数据治理解决方案提供商

    国内成熟的数据治理解决方案提供商

    如今,数据已成为企业的货币,但管理数据不当可能会很快失去控制。麻省理工学院最近的一项研究发现,对于一些企业来说,大数据正在变成糟糕的数据……查看详情

    发布时间:2019.11.25来源:CSDN浏览量:166次

  • 元数据:数据治理的燃料

    元数据:数据治理的燃料

    企业渴望从可提供竞争优势的数据中获取洞察力。实现这一目标的最常见障碍是数据质量差。如果输入到预测算法的数据是“脏的”(具有丢失或无效的值……查看详情

    发布时间:2019.08.02来源:知乎浏览量:123次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议