让数据清澈如水:数据清洗的策略与方法

发布时间:2020.11.23来源:亿信华辰浏览量:176次标签:数据治理

在数据仓库中,数据是面向某一主题的数据的集合,这些数据从多个业务系统抽取而来,不同的数据来源加上历史数据的堆积,难免会有问题数据出现,这些问题数据大致可以分为三大类:不完整的数据、错误的数据以及重复的数据。数据清洗的职责就是分辨、处理这些问题数据。

数据清洗,顾名思义,就是把数据拿去“洗一遍”,把其中的脏数据给“洗掉”,简单来说,数据清洗就是发现并纠正数据中可识别的错误,从而来保持数据的完整性、唯一性、一致性等。

针对不同问题数据有哪些清洗方式?
1、不完整的数据
不完整的数据是指一条数据中记录某一特征的数据丢失了,比如员工信息表中名叫张三的员工的年龄缺失了。某些数据的缺失值可以从本数据源或其他数据源推导出来,像上例中的员工年龄就可以根据身份证号计算出来。除了这种特殊关系的数据缺失外,其他数据的缺失常用的清洗方法还有取平均值、最大值、最小值、计算结果值,或者取其他字段的值等等。

2、重复的数据
重复的数据就是相同的一条数据出现了两次或以上,对于重复的数据清洗起来比较简单,只需要根据主键或者其他规则删除多余的数据即可。

3、错误的数据
错误的数据又可以分成格式错误和内容错误两种。格式错误是指我们收集到的数据的格式跟我们期望的数据格式不一致,比如设计的库表字段为8位的日期“20200604”格式,但我们获取到的数据为“2020-06-04”,这种数据肯定是存不进数据库的,需要将其清洗成8位的日期字符串,我们可以先将“2020-06-04”转换为日期型的数据,然后再将日期转换为“YYYYMMDD”格式的字符串,也可以采用字符串分割在拼接的方法,依次取“2020-06-04”的1-4、6-7、9-10位拼接成一个新的字符串。

内容错误的数据检测处理则稍麻烦些,需要数据处理人员通过分析来找出脏数据。我们可以通过简单的黑名单或白名单来找出脏数据,只要一列数据中出现了黑名单上的值,就认为该数据是脏数据,并将其替换为我们预先准备好的指定值。

如何在数据工厂中进行数据清洗?
看完了上述数据清洗的方法和策略,大多数人还不太清楚实际操作中该如何清洗数据。下面就以亿信数据工厂为例为大家演示清洗数据的全流程。

假设我们现在有一张员工信息表,表中入职时间字段格式为“yyyyMMddHH:mm:ss”,我们要将其格式改为“yyyy-MM-dd HH:mm:ss”,然后存入新的目标表中,下面演示数据清洗的详细步骤。

新建连接池

第一步创建源端数据源连接。依次点击数据源 >> 连接池管理 >> 新建连接池 >> Oracle。

在弹出的对话框中输入数据库的信息,点击保存。

2.创建ETL过程

第二步创建清洗任务。依次点击,设计区 >> ETL过程 >> 新建,进入到ETL过程编辑器界面

依次将输入输出分组中的表输入、表输出组件和转换组件分组中的清洗组件拖到右侧编辑区,并按照表输入-清洗组件-表输出的顺序将组件连线。

双击点开表输入组件,选择刚刚创建的连接池,选择需要清洗数据的表。

双击点开清洗组件,点击“新增”按钮;在弹出的窗口左侧树上选择“日期时间字符串格式转换”,在右侧需要清洗的字段前面打上勾,并点击日期时间转换设置框中的右侧“...”按钮;在弹出的时间转换格式对话框中,选择转换前和转换后的字符串格式,这里选择的是将“yyyyMMddHH:mm:ss”转换为“yyyy-MM-dd HH:mm:ss”点击确定关闭所有对话框。

双击点开表输出组件,选择目标连接池和目标表;点击字段映射,在弹出的字段映射对话框中点击“字段自动映射”,选择“按文字匹配”,点击“确定”按钮关闭对话框。然后在关键字“NO_”后上打钩。

在表输出的目标设置界面中,更新方式选择“数据更新”,批量大小输入“1000”。点击确定,关闭组件设置对话框。这样清洗任务就创建完成了。

3.运行ETL,查看数据
点击上方工具栏中的“运行”按钮,运行完成后右键点击表输出组件,选择预览数据。
这时候可以看到入职时间的数据格式全都变成了“yyyy-MM-dd HH:mm:ss”。至此数据清洗成功。

亿信数据工厂中有数十个组件,内置了大量的数据清洗转换规则,还有SQL组件、表达式组件等支持用户通过SQL的方式自定义转换规则,实现一键清洗数据。通过数据工厂,可以简单、快速完成数据的清洗工作。感兴趣的小伙伴可前往亿信华辰官网申请试用哦~

3小程序.jpg

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 元数据:数据治理的燃料

    元数据:数据治理的燃料

    企业渴望从可提供竞争优势的数据中获取洞察力。实现这一目标的最常见障碍是数据质量差。如果输入到预测算法的数据是“脏的”(具有丢失或无效的值……查看详情

    发布时间:2019.08.02来源:知乎浏览量:127次

  • 幸存下来的数据治理浪潮

    幸存下来的数据治理浪潮

    我们正在从大数据的狂野西部时期出现,当时的问题主要集中在技术上是否可行,而不是合法或道德。文化需要一段时间才能改变,工具的发展也需要时间……查看详情

    发布时间:2019.03.05来源:亿信华辰浏览量:106次

  • 一文搞懂数据质量问题及对应的解决办法

    一文搞懂数据质量问题及对应的解决办法

    通过数据分析、数据评估、数据清洗、数据监控、错误预警等内容,解决数据质量问题,使数据的质量得以改善,使其满足数据需求方对数据质量的规则要……查看详情

    发布时间:2019.11.05来源:知乎浏览量:965次

  • 关于数据治理的十件事

    关于数据治理的十件事

    数据治理是我们现在遇到的众多热门词汇之一。有人可能会说这是炒作,但我不这么认为。出于许多好的理由,这是我们的首要考虑,其中一些我们在下面……查看详情

    发布时间:2018.12.18来源:数据治理浏览量:145次

  • 企业数据治理价值

    企业数据治理价值

    数据治理是根据数据治理政策,通过组织人员、流程和技术的相互协作,对数据从形态、内容和关系等层面进行规范管理,提升数据的服务能力,以实现数……查看详情

    发布时间:2019.09.30来源:CSDN浏览量:131次

  • 数据治理的发展历程

    数据治理的发展历程

    数据治理技术的发展使得其中最好的技术为组织的数据景观提供了完全的透明性,并为业务用户在搜索、访问和应用数据时提供了一种方便快捷的体验。……查看详情

    发布时间:2018.11.19来源:艾米丽华盛顿浏览量:147次

  • 最全数据治理工具解析:数据治理工具的关键必备功能

    最全数据治理工具解析:数据治理工具的关键必备功能

    ​数据治理工具被定义为帮助创建和维护一组结构化策略、程序和协议的过程的工具,这些策略、程序和协议控制企业数据的存储、使用和管理方式。本文……查看详情

    发布时间:2021.07.22来源:亿信华辰数据治理浏览量:255次

  • 大数据对社会有多大用处?

    大数据对社会有多大用处?

    规范性分析是商业智能(BI)中使用的四种大数据类型之一。大数据是一个描述大量数据的术语-结构化和非结构化-这些大量数据淹没了企业或任何数……查看详情

    发布时间:2018.12.29来源:数据治理浏览量:110次

  • 什么是元数据?为何需要元数据?

    什么是元数据?为何需要元数据?

    元数据是对我们整个系统里面包含的各种结构的描述和说明,比如结构说明、属性说明、或者相关数据,它有点类似现实世界中我们使用的某个产品的说明……查看详情

    发布时间:2019.09.09来源:知乎浏览量:133次

  • 数据治理工具那么多,如何选择适合自己企业的呢?

    数据治理工具那么多,如何选择适合自己企业的呢?

    随着互联网技术的不断发展,人们获取、收集信息的渠道也越来越多样化,各种搜索引擎、通讯工具、社交网站等普及应用,使得数据信息呈迅速增长趋势……查看详情

    发布时间:2019.07.26来源:知乎浏览量:113次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议