浅谈数据质量对企业管理的影响

发布时间:2020.10.21来源:知乎浏览量:1次标签:数据治理

今年上半年,企查查发误导信息判赔蚂蚁金服60万。这是公共数据和数据质量的判决第一案。

同样是今年,中国银行保险监督管理委员会因监管标准化数据(EAST)系统数据质量及数据报送存在违法违规行为对包括四大行在内的8家大型商业银行开出1970万元罚单。

越来越多的处罚案例,在提醒我们要重视数据治理,强调高质量的数据在发挥数据价值中的重要性。
是什么因素导致上面这些处罚呢?笔者认为这受两个因素的影响:一个是不注意的、人为所导致的;另一种因素,是因为企业没有能力和手段来对合规性进行监管,频频触礁,最后严重影响了企业声誉。由于缺乏数据质量管理会导致脏数据、重复数据、冗余数据、数据丢失、数据不一致、无法整合、责任缺失,糟糕用户体验等等低劣数据质量问题。然而这些问题其实是可以避免的,合理利用数据治理平台,则会让你打卡一个新天地。具体说来,就是需要对数据质量进行测量,而提升数据质量则需要数据质量检测系统。

工欲善其事,必先利其器。亿信数据质量管理平台(EsDataClean)提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。让企业能够一站式轻松搞定质检全过程,其内置质检规则已多达16种,灵活满足各种质检需求。以常见的几个质检维度来举例说明:

完整性(Completeness)
字段是否为空或NULL可使用空值检查,可以判断一个或多个字段是否非空。数据是否丢失可使用记录缺失检查,根据比照表字段检查目标字段是否缺少数据。

唯一性(Uniqueness)
检查数据是否唯一可使用重复数据检查。检查一张表内的重复数据,重复依据的定义不限于单一字段。若仅添加一个字段,将检查该字段内是否有重复数据;若添加了多个字段,将联合检查多个字段内是否有重复数据。

及时性(Timeliness)
检查数据填报是否在允许时间范围内可使用及时性检查。用来检查数据抽取、上报是否及时。

有效性(Validity)
检查数据是否符合其定义的语法(格式、类型、范围),场景包括不限于字段长度有效、字段内容有效、字段数据范围有效、枚举值个数有效、枚举值集合有效。这些场景下可使用值域检查、规范检查、波动检查、平衡性检查、离群值检查。

准确性(Accuracy)
数值同比波动监测、数值环比波动监测、表逻辑检查。可使用逻辑检查、值域检查、波动检查、平衡性检查。

一致性(Consistency)
检查数据项的多个数据是否一致,可使用引用完整性检查、数据集检查。

自定义(Customize)
支持用户自定义写质检规则,可使用SQL脚本检查、JAVA脚本、R脚本检查、Python脚本检查。

亿信数据质量管理平台(EsDataClean)从完整性、唯一性、及时性、有效性、准确性、一致性、自定义等几个维度对数据质量进行测量。通过图形化的界面,事先定义好的规则、调度时间、工作流程,自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。对于数据质量的检测结果进行分析和量化,查找出现质量问题的数据链环节,定位数据问题,实行问责机制。

近年来越来越多的企业认识到了数据的重要性,数据仓库、大数据平台、数据中台的建设如雨后春笋。人们也越来越重视数据的管理和治理,而数据质量管理是数据治理的核心,因此,拥有一个优秀数据质量平台,能够改善整个企业的数据的一下问题,让它在协助我们企业在提升生产力方面、效能方面、合规管理方面等等之中发挥的重要作用。

亿信华辰旗下不光有数据治理管理平台,还有一整套的数据治理系统——睿治,可以有效帮助企业实现数据的有效治理,提高效率支撑决策。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理运营:差距

    数据治理运营:差距

    今天,全球组织都了解数据治理(DG)是什么,它的好处以及不管理数据的风险。……查看详情

    发布时间:2019.02.14来源:亿信华辰浏览量:2次

  • 数据管理自动化框架的五个好处

    数据管理自动化框架的五个好处

    组织负责管理比以往任何时候都多的数据,使一个强大的自动化框架成为必要。但是自动化框架到底是什么,它又有什么关系呢?……查看详情

    发布时间:2019.02.13来源:亿信华辰浏览量:1次

  • 元数据管理101:什么,为什么以及如何

    元数据管理101:什么,为什么以及如何

    元数据管理已逐渐成为成功的数字化计划战略的最重要实践之一。随着大数据和云等分布式体系结构的兴起,可以创建孤立的系统和数据,元数据管理对于……查看详情

    发布时间:2018.12.19来源:数据治理浏览量:1次

  • 数据治理,更依赖人治还是自治?

    数据治理,更依赖人治还是自治?

    数据治理“自治”包含两层含义:自动化治理和自助化治理。数据中台,是能力的下沉,数据处理能力下沉为加工平台,数据处理结果下沉为数据资产。那……查看详情

    发布时间:2019.11.18来源:知乎浏览量:2次

  • 什么是数据治理及其为什么对您的业务至关重要?

    什么是数据治理及其为什么对您的业务至关重要?

    数据治理如何影响他们:由于您没有雇用一组全新的理事会成员,因此DGC数据治理的最大影响将是与数据和数据策略相关的额外工作。如果或出现问题……查看详情

    发布时间:2018.11.26来源:数据治理浏览量:2次

  • 大数据时代地方政府大数据治理战略

    大数据时代地方政府大数据治理战略

    全球各地的组织正在投资于能够以先前无法想象的方式容纳和处理数据的系统。在某些情况下,企业甚至会根据这些新系统重新构建现有的IT环境。这些……查看详情

    发布时间:2019.08.15来源:浏览量:1次

  • 产生影响:数据治理和企业架构的失落艺术

    产生影响:数据治理和企业架构的失落艺术

    看起来我们忙着跑步,以至于我们没有时间思考。我们希望更快,更快速,但我们甚至不确定我们想要实现的目标。这就像你办公室的人总是太忙,正在工……查看详情

    发布时间:2019.03.22来源:亿信华辰浏览量:2次

  • 国内数据治理平台厂商介绍

    国内数据治理平台厂商介绍

    睿治数据治理平台是北京亿信华辰软件有限责任公司完全自主研发的一站式综合数据治理整体解决方案,是一款面向全用户角色的、智能的、敏捷的数据全……查看详情

    发布时间:2019.09.19来源:知乎浏览量:2次

  • 数据治理唤醒“沉睡数据”

    数据治理唤醒“沉睡数据”

    十九届四中全会提出:“建立健全运用互联网、大数据、人工智能等技术手段进行行政管理的制度规则。推进数字政府建设,加强数据有序共享,依法保护……查看详情

    发布时间:2019.11.28来源:知乎浏览量:6次

  • 美国数据治理有何新动向?

    美国数据治理有何新动向?

    大数据时代,美国高度重视数据资源的战略价值,相继出台国家战略,落实配套措施,系统推动本国大数据发展。通过加强数据安全保护,完善个人信息和……查看详情

    发布时间:2018.10.10来源:中国信息通信浏览量:1次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议