浅谈数据质量对企业管理的影响

发布时间:2020.10.21来源:知乎浏览量:12次标签:数据治理

今年上半年,企查查发误导信息判赔蚂蚁金服60万。这是公共数据和数据质量的判决第一案。

同样是今年,中国银行保险监督管理委员会因监管标准化数据(EAST)系统数据质量及数据报送存在违法违规行为对包括四大行在内的8家大型商业银行开出1970万元罚单。

越来越多的处罚案例,在提醒我们要重视数据治理,强调高质量的数据在发挥数据价值中的重要性。
是什么因素导致上面这些处罚呢?笔者认为这受两个因素的影响:一个是不注意的、人为所导致的;另一种因素,是因为企业没有能力和手段来对合规性进行监管,频频触礁,最后严重影响了企业声誉。由于缺乏数据质量管理会导致脏数据、重复数据、冗余数据、数据丢失、数据不一致、无法整合、责任缺失,糟糕用户体验等等低劣数据质量问题。然而这些问题其实是可以避免的,合理利用数据治理平台,则会让你打卡一个新天地。具体说来,就是需要对数据质量进行测量,而提升数据质量则需要数据质量检测系统。

工欲善其事,必先利其器。亿信数据质量管理平台(EsDataClean)提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。让企业能够一站式轻松搞定质检全过程,其内置质检规则已多达16种,灵活满足各种质检需求。以常见的几个质检维度来举例说明:

完整性(Completeness)
字段是否为空或NULL可使用空值检查,可以判断一个或多个字段是否非空。数据是否丢失可使用记录缺失检查,根据比照表字段检查目标字段是否缺少数据。

唯一性(Uniqueness)
检查数据是否唯一可使用重复数据检查。检查一张表内的重复数据,重复依据的定义不限于单一字段。若仅添加一个字段,将检查该字段内是否有重复数据;若添加了多个字段,将联合检查多个字段内是否有重复数据。

及时性(Timeliness)
检查数据填报是否在允许时间范围内可使用及时性检查。用来检查数据抽取、上报是否及时。

有效性(Validity)
检查数据是否符合其定义的语法(格式、类型、范围),场景包括不限于字段长度有效、字段内容有效、字段数据范围有效、枚举值个数有效、枚举值集合有效。这些场景下可使用值域检查、规范检查、波动检查、平衡性检查、离群值检查。

准确性(Accuracy)
数值同比波动监测、数值环比波动监测、表逻辑检查。可使用逻辑检查、值域检查、波动检查、平衡性检查。

一致性(Consistency)
检查数据项的多个数据是否一致,可使用引用完整性检查、数据集检查。

自定义(Customize)
支持用户自定义写质检规则,可使用SQL脚本检查、JAVA脚本、R脚本检查、Python脚本检查。

亿信数据质量管理平台(EsDataClean)从完整性、唯一性、及时性、有效性、准确性、一致性、自定义等几个维度对数据质量进行测量。通过图形化的界面,事先定义好的规则、调度时间、工作流程,自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。对于数据质量的检测结果进行分析和量化,查找出现质量问题的数据链环节,定位数据问题,实行问责机制。

近年来越来越多的企业认识到了数据的重要性,数据仓库、大数据平台、数据中台的建设如雨后春笋。人们也越来越重视数据的管理和治理,而数据质量管理是数据治理的核心,因此,拥有一个优秀数据质量平台,能够改善整个企业的数据的一下问题,让它在协助我们企业在提升生产力方面、效能方面、合规管理方面等等之中发挥的重要作用。

亿信华辰旗下不光有数据治理管理平台,还有一整套的数据治理系统——睿治,可以有效帮助企业实现数据的有效治理,提高效率支撑决策。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理对企业重不重要?有哪些好处呢?

    数据治理对企业重不重要?有哪些好处呢?

    随着互联网技术的不断发展,人们获取、收集信息的渠道也越来越多样化,各种搜索引擎、通讯工具、社交网站等普及应用,使得数据信息呈迅速增长趋势……查看详情

    发布时间:2019.07.18来源:知乎浏览量:19次

  • 数据资产管理经验干货心得分享

    数据资产管理经验干货心得分享

    数据资产的定义是是指由企业拥有或企业控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料,电子数据等。在企……查看详情

    发布时间:2020.08.19来源:微信浏览量:13次

  • 国内主流的主数据管理方案

    国内主流的主数据管理方案

    主数据管理 (MDM) 是一种能够定义和管理组织中关键数据的全面方法。它提供跨整个企业的一站式可信任数据视图、敏捷的自助服务访问、基于分……查看详情

    发布时间:2020.05.07来源:知乎浏览量:89次

  • 如何获得各部门系统的数据?

    如何获得各部门系统的数据?

    不少学校在开展数据治理的时候,会遇到部门数据共享的问题。一方面,一些部门不愿意分享所管理的数据,比如,认为拥有某些数据是特权,或担心数据……查看详情

    发布时间:2020.10.31来源:知乎浏览量:11次

  • 快速构建集团数据中心!亿利集团这样打通分子公司数据

    快速构建集团数据中心!亿利集团这样打通分子公司数据

    亿利集团利用亿信华辰的数据采集平台i@Report+数据分析展现平台亿信BI(原BI@Report),搭建一站式数据应用平台,平台集数据……查看详情

    发布时间:2019.05.14来源:亿信华辰浏览量:7次

  • 新模型:组合投资组合管理和数据治理建议

    新模型:组合投资组合管理和数据治理建议

    通常,组织决定不让投资组合管理网守优先/授权所有来自治理主导的问题分析的建议。因此,创建了一个新模型,第三个存储桶。……查看详情

    发布时间:2019.03.29来源:亿信华辰浏览量:15次

  • 数据治理成功的秘诀

    数据治理成功的秘诀

    数据治理(DG)1.0一直在努力实现,但现在DG需要符合通用数据保护法规(GDPR),因此企业需要一种新方法来实现数据治理的成功。……查看详情

    发布时间:2019.01.27来源:亿信华辰浏览量:29次

  • 企业为什么要进行数据资产管理?

    企业为什么要进行数据资产管理?

    ​随着大数据时代的来临,对数据的重视提到了前所未有的高度,“数据即资产”已经被广泛认可。数据就像企业的根基,是各企业尚待发掘的财富,即将……查看详情

    发布时间:2022.05.27来源:小亿浏览量:32次

  • 企业数据标准管理的内容

    企业数据标准管理的内容

    笔者理解:数据标准是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换……查看详情

    发布时间:2020.11.13来源:知乎浏览量:12次

  • 如何选择数据治理工具

    如何选择数据治理工具

    有许多场景需要数据治理工具。在严格的行业法规下运营,利用分析软件和/或定期整合关键主题领域的数据的企业将发现自己正在寻找数据治理工具来帮……查看详情

    发布时间:2019.07.04来源:知乎浏览量:12次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议