浅谈数据质量对企业管理的影响

今年上半年，企查查发误导信息判赔蚂蚁金服60万。这是公共数据和数据质量的判决第一案。

同样是今年，中国银行保险监督管理委员会因监管标准化数据（EAST）系统数据质量及数据报送存在违法违规行为对包括四大行在内的8家大型商业银行开出1970万元罚单。

越来越多的处罚案例，在提醒我们要重视数据治理，强调高质量的数据在发挥数据价值中的重要性。
是什么因素导致上面这些处罚呢？笔者认为这受两个因素的影响：一个是不注意的、人为所导致的；另一种因素，是因为企业没有能力和手段来对合规性进行监管，频频触礁，最后严重影响了企业声誉。由于缺乏数据质量管理会导致脏数据、重复数据、冗余数据、数据丢失、数据不一致、无法整合、责任缺失，糟糕用户体验等等低劣数据质量问题。然而这些问题其实是可以避免的，合理利用数据治理平台，则会让你打卡一个新天地。具体说来，就是需要对数据质量进行测量，而提升数据质量则需要数据质量检测系统。

工欲善其事，必先利其器。亿信数据质量管理平台（EsDataClean）提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。让企业能够一站式轻松搞定质检全过程，其内置质检规则已多达16种，灵活满足各种质检需求。以常见的几个质检维度来举例说明：

完整性（Completeness）
字段是否为空或NULL可使用空值检查，可以判断一个或多个字段是否非空。数据是否丢失可使用记录缺失检查，根据比照表字段检查目标字段是否缺少数据。

唯一性（Uniqueness）
检查数据是否唯一可使用重复数据检查。检查一张表内的重复数据，重复依据的定义不限于单一字段。若仅添加一个字段，将检查该字段内是否有重复数据；若添加了多个字段，将联合检查多个字段内是否有重复数据。

及时性（Timeliness）
检查数据填报是否在允许时间范围内可使用及时性检查。用来检查数据抽取、上报是否及时。

有效性（Validity）
检查数据是否符合其定义的语法（格式、类型、范围），场景包括不限于字段长度有效、字段内容有效、字段数据范围有效、枚举值个数有效、枚举值集合有效。这些场景下可使用值域检查、规范检查、波动检查、平衡性检查、离群值检查。

准确性（Accuracy）
数值同比波动监测、数值环比波动监测、表逻辑检查。可使用逻辑检查、值域检查、波动检查、平衡性检查。

一致性（Consistency）
检查数据项的多个数据是否一致，可使用引用完整性检查、数据集检查。

自定义（Customize）
支持用户自定义写质检规则，可使用SQL脚本检查、JAVA脚本、R脚本检查、Python脚本检查。

亿信数据质量管理平台（EsDataClean）从完整性、唯一性、及时性、有效性、准确性、一致性、自定义等几个维度对数据质量进行测量。通过图形化的界面，事先定义好的规则、调度时间、工作流程，自动完成数据的质量检查，极大的减少人力的投入和过程干预，提升效率，减少误差。对于数据质量的检测结果进行分析和量化，查找出现质量问题的数据链环节，定位数据问题，实行问责机制。

近年来越来越多的企业认识到了数据的重要性，数据仓库、大数据平台、数据中台的建设如雨后春笋。人们也越来越重视数据的管理和治理，而数据质量管理是数据治理的核心，因此，拥有一个优秀数据质量平台，能够改善整个企业的数据的一下问题，让它在协助我们企业在提升生产力方面、效能方面、合规管理方面等等之中发挥的重要作用。

亿信华辰旗下不光有数据治理管理平台，还有一整套的数据治理系统——睿治，可以有效帮助企业实现数据的有效治理，提高效率支撑决策。