如何保证数据质量、数据治理:让数据质量更好

发布时间:2019.09.12来源:知乎浏览量:1次标签:数据治理

数据分析、数据挖掘等各种数据应用都离不开数据质量,数据质量的重要性不用多表。今天来浅谈如何通过数据治理,来保证数据质量。数据的生命周期往往会有以下4个过程:数据的产生、存储、加工和应用。 数据质量在这四个环节均会产生,所以需要有不同的手段。

1、数据产生阶段
这个阶段是数据质量问题的重灾区,无论是手工录入的数据,还是生产系统产生的数据,都会因为各种原因导致数据质量问题,比如手抖输错、生产系统波动等。对于这个阶段的问题,我们对应的手段是:控制输入

对于手动录入的数据,尽可能的使用非开放式的输入手段,如下拉菜单、单复选框、时间控件、标签(支持自定义学习型)等,必须开放的输入部分,进行必要的及时校验。另外在数据进入系统前,可以设立监控点,出现错误数据可以及时预警(邮件、信息手段进行通知)。

2、数据存储阶段
方法:数据统一及数据清洗
在数据仓库或数据中心建立时,就按照数据标准对关键字段进行统一命名、格式、精度等,排除数据的歧义。
对于已经存储在数仓中的数据,发现质量问题,就得使用数据质量管控工具了,这里推荐亿信睿治数据治理平台中的数据质量模块,可以很方便的检查出数据质量问题,且内置了丰富的清洗组件,不需要使用代码就可以完成对于大多数数据质量问题的便捷清洗。

3、数据加工阶段的质量管控手段
方法:数据质量管理工具
这个阶段的数据会经历很多过程,比如被引用,指标计算,从ODS层到集市层等,通过人力来管理的话,人力成本太高了。在这里还是推荐睿治数据治理平台的数据质量模块(没办法,的确好用),此软件数据质量功能模块支持在数据流向的各个节点进行数据质量监测,不仅可以进行实时数据质量的预警,还可以对已有数据进行数据质量校验,内置了很多种数据质量规则,没有研发经验的也能用得飞起,对技术小白很友好。

4、数据应用阶段的质量管理手段
数据使用阶段还需要质量管理?当然!
无论是在数据分析还是数据挖掘之后,结果自然是要保存下来的,此时的数据仍然要按照标准,进行规范的管理,无论是存储结果的表名,还是字段、格式等。此外,在数据分析、挖掘的时候,也会有新的数据产生,此时依然需要进行标准化之后进行统一管理。有新的数据质量问题产生,仍然需要想应的数据清洗工具进行清洗后再保存。

写在最后,数据质量问题对于很多企业已经是迫在眉睫需要解决的问题了,是时候开展数据治理了。话分两头讲,对于已有数据,通过数据质量管理工具进行校验和清洗,另外建立数据质量管控体系,通过PDCA闭环结构不断地提升数据质量;

数据质量
另外对于系统原因造成的数据质量问题,我们需要建立数据标准体系,对于可以改造的生产系统,在数据标准的指导下进行改造,对于不能改造的系统,通过一些技术手段进行清洗转换,在数据产生的环节把控数据质量,这样效率必然是最高的。

数据质量的提升并不是一蹴而就的,做一次数据整改就能解决所有数据质量问题。而是需要通过数据标准和数据质量建立起完善的数据质量管控体系,在各个环节进行监控,定期检查数据质量,确定解决方案,并加以改进。数据质量管理的平台工具,笔者在这里推荐一下亿信华辰的睿治数据治理平台,该平台内置了13中数据质量检查规则,可根据实际需求建立完善的质检方案,精准识别和定位数据质量问题,并可直接关联数据质量整改工作流,帮助企业提升数据质量。质量乃数据之根本,没有质量,数据便不可信,在此之上的数据分析、数据挖掘更是一纸空谈,甚至是大谬论。提升数据质量,建立起可信的企业级大数据势在必行。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 当前数据治理存在哪些问题和困难?

    当前数据治理存在哪些问题和困难?

    数据治理不只是技术问题,更是一个管理问题。例如大家常见的项目管理系统只是一个工具,如何让项目管理工具与项目管理思想相匹配才是项目管理系统……查看详情

    发布时间:2020.04.09来源:知乎浏览量:2次

  • 企业在什么情况下需要数据交换管理平台?

    企业在什么情况下需要数据交换管理平台?

    许多企业初期采用手工录入、脚本处理、传统工具做数据的交换,从目前的信息化现状来看存在着很大的弊端,首先是数据来源不一,库表、文件、接口无……查看详情

    发布时间:2020.04.22来源:知乎浏览量:4次

  • 企业数据治理战略中的重要任务

    企业数据治理战略中的重要任务

    尽管许多企业的数据治理在被不经意间悄悄地忽视了,只有48%的企业拥有明确的规划或计划,但这并不影响数据治理的重要性,它聚焦于三个关键因素……查看详情

    发布时间:2020.07.14来源:知乎浏览量:7次

  • 区块链与数据治理

    区块链与数据治理

    大数据时代,数据源源不断产生并自主汇聚至多方数据收集者,数据已经成为企业间竞争的关键和影响国家竞争力的重要因素,由此数据治理成为企业治理……查看详情

    发布时间:2020.06.24来源:知乎浏览量:5次

  • Spring Boot、微服务架构和大数据治理三者之间的故事

    Spring Boot、微服务架构和大数据治理三者之间的故事

    微服务的诞生并非偶然,它是在互联网高速发展,技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物。……查看详情

    发布时间:2019.01.07来源:亿信华辰浏览量:2次

  • 数据治理成功的六个步骤

    数据治理成功的六个步骤

    毫无疑问,数据已经成为信息经济的原材料,而数据治理是一项战略迫切需要。 ……查看详情

    发布时间:2019.01.14来源:亿信华辰浏览量:1次

  • 探索科学有效的数据治理之路

    探索科学有效的数据治理之路

    数据是数字经济的基础性战略资源,数据治理能力是国家竞争力的体现。随着移动互联网、物联网、云计算等信息技术的飞速发展,人们的生产和生活方式……查看详情

    发布时间:2020.07.31来源:知乎浏览量:1次

  • 银行自身要提升数据治理能力

    银行自身要提升数据治理能力

    数字经济对金融服务的模式也提出了新的要求,银行必须依托科技支撑,加快和深化数字化转型,带动风控模式的改革创新。银行还需要着力于构建其自身……查看详情

    发布时间:2019.10.29来源:知乎浏览量:1次

  • 制定数据治理行动路线和计划

    制定数据治理行动路线和计划

    路线图是使用特定技术方案帮助达到短期或者长期目标的计划,用于新产品、项目或技术领域的开发,是指应用简洁的图形、表格、文字等形式描述技术变……查看详情

    发布时间:2020.07.17来源:知乎浏览量:2次

  • 金融行业数据治理的问题与对策

    金融行业数据治理的问题与对策

    银行数据治理工作不是个别部门或少数人员能够妥善完成的,而是需要各部门之间、各层级之间的相互支持与协作,尤其需要加强科技部门与业务部门之间……查看详情

    发布时间:2019.10.16来源:知乎浏览量:2次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议