浅谈数据质量对企业管理的影响

发布时间:2020.10.21来源:知乎浏览量:155次标签:数据治理

今年上半年,企查查发误导信息判赔蚂蚁金服60万。这是公共数据和数据质量的判决第一案。

同样是今年,中国银行保险监督管理委员会因监管标准化数据(EAST)系统数据质量及数据报送存在违法违规行为对包括四大行在内的8家大型商业银行开出1970万元罚单。

越来越多的处罚案例,在提醒我们要重视数据治理,强调高质量的数据在发挥数据价值中的重要性。
是什么因素导致上面这些处罚呢?笔者认为这受两个因素的影响:一个是不注意的、人为所导致的;另一种因素,是因为企业没有能力和手段来对合规性进行监管,频频触礁,最后严重影响了企业声誉。由于缺乏数据质量管理会导致脏数据、重复数据、冗余数据、数据丢失、数据不一致、无法整合、责任缺失,糟糕用户体验等等低劣数据质量问题。然而这些问题其实是可以避免的,合理利用数据治理平台,则会让你打卡一个新天地。具体说来,就是需要对数据质量进行测量,而提升数据质量则需要数据质量检测系统。

工欲善其事,必先利其器。亿信数据质量管理平台(EsDataClean)提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。让企业能够一站式轻松搞定质检全过程,其内置质检规则已多达16种,灵活满足各种质检需求。以常见的几个质检维度来举例说明:

完整性(Completeness)
字段是否为空或NULL可使用空值检查,可以判断一个或多个字段是否非空。数据是否丢失可使用记录缺失检查,根据比照表字段检查目标字段是否缺少数据。

唯一性(Uniqueness)
检查数据是否唯一可使用重复数据检查。检查一张表内的重复数据,重复依据的定义不限于单一字段。若仅添加一个字段,将检查该字段内是否有重复数据;若添加了多个字段,将联合检查多个字段内是否有重复数据。

及时性(Timeliness)
检查数据填报是否在允许时间范围内可使用及时性检查。用来检查数据抽取、上报是否及时。

有效性(Validity)
检查数据是否符合其定义的语法(格式、类型、范围),场景包括不限于字段长度有效、字段内容有效、字段数据范围有效、枚举值个数有效、枚举值集合有效。这些场景下可使用值域检查、规范检查、波动检查、平衡性检查、离群值检查。

准确性(Accuracy)
数值同比波动监测、数值环比波动监测、表逻辑检查。可使用逻辑检查、值域检查、波动检查、平衡性检查。

一致性(Consistency)
检查数据项的多个数据是否一致,可使用引用完整性检查、数据集检查。

自定义(Customize)
支持用户自定义写质检规则,可使用SQL脚本检查、JAVA脚本、R脚本检查、Python脚本检查。

亿信数据质量管理平台(EsDataClean)从完整性、唯一性、及时性、有效性、准确性、一致性、自定义等几个维度对数据质量进行测量。通过图形化的界面,事先定义好的规则、调度时间、工作流程,自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。对于数据质量的检测结果进行分析和量化,查找出现质量问题的数据链环节,定位数据问题,实行问责机制。

近年来越来越多的企业认识到了数据的重要性,数据仓库、大数据平台、数据中台的建设如雨后春笋。人们也越来越重视数据的管理和治理,而数据质量管理是数据治理的核心,因此,拥有一个优秀数据质量平台,能够改善整个企业的数据的一下问题,让它在协助我们企业在提升生产力方面、效能方面、合规管理方面等等之中发挥的重要作用。

亿信华辰旗下不光有数据治理管理平台,还有一整套的数据治理系统——睿治,可以有效帮助企业实现数据的有效治理,提高效率支撑决策。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 当下企业数据治理有哪些重要性?

    当下企业数据治理有哪些重要性?

    随着大数据相关技术的不断成熟,数据作为一种资产,得到了越来越多企业机构的重视,为了能够有效的利用数据资产,数据治理成了当下政府和企业重点……查看详情

    发布时间:2019.07.18来源:知乎浏览量:89次

  • 如何成功实现数据治理

    如何成功实现数据治理

    如果你处理过大量数据,你也许听说过“数据治理”一词,你可能会想,它是什么?适不适合你?如何实施?简单来说,数据治理就是处理数据的策略——……查看详情

    发布时间:2020.03.19来源:知乎浏览量:142次

  • 数据准备和数据映射:数据管理和数据治理之间的粘合剂,以加快洞察力并降低风险

    数据准备和数据映射:数据管理和数据治理之间的粘合剂,以加快洞察力并降低风险

    组织已经花费了大量的时间和金钱试图在不同的平台上协调数据,包括清理、上载元数据、转换代码、定义业务词汇表、跟踪数据转换等。……查看详情

    发布时间:2019.02.13来源:亿信华辰浏览量:175次

  • 企业何时考虑启动数据治理项目

    企业何时考虑启动数据治理项目

    数据治理应用方面原因有什么,企业信息化建设到了一定程度,开始对数据进行相关的展示、分析、应用等,进一步提高数据对企业统计分析和决策支持的……查看详情

    发布时间:2020.04.08来源:知乎浏览量:115次

  • 关于数据治理的十件事

    关于数据治理的十件事

    数据治理是我们现在遇到的众多热门词汇之一。有人可能会说这是炒作,但我不这么认为。出于许多好的理由,这是我们的首要考虑,其中一些我们在下面……查看详情

    发布时间:2018.12.18来源:数据治理浏览量:179次

  • 数据质量管理的方法论

    数据质量管理的方法论

    在数据治理方面,不论是国际的还是国内的,我们能找到很多数据治理成熟度评估模型这样的理论框架,作为企业实施的指引。而说到数据质量管理的方法……查看详情

    发布时间:2019.12.06来源:CSDN浏览量:217次

  • 政府数据治理的国际经验与启示

    政府数据治理的国际经验与启示

    政府数据治理是当前政府信息管理研究的热点问题,对发达国家政府数据治理经验的总结有助于把握政府数据治理的普遍规律,推动我国政府数据的开发利……查看详情

    发布时间:2018.10.23来源:信息资源管理学报浏览量:185次

  • 主动方法在数据治理的数据架构

    主动方法在数据治理的数据架构

    “数据架构是业务战略的物理实现,” 全球数据战略有限公司 EMEA首席顾问NigelTurner在DATAVER……查看详情

    发布时间:2019.01.16来源:亿信华辰浏览量:133次

  • 大数据治理 [Big Data Governance an Emerging Imperative]

    大数据治理 [Big Data Governance an Emerging Imperative]

    《大数据治理》是一个信息治理专家奉献的鸿篇巨制,作者以极其实用和通俗易懂的风格,倾心向读者解读大数据治理这一复杂主题。作为一家大公司的资……查看详情

    发布时间:2018.11.29来源:数据治理浏览量:177次

  • 数据治理工具那么多,如何选择适合自己企业的呢?

    数据治理工具那么多,如何选择适合自己企业的呢?

    随着互联网技术的不断发展,人们获取、收集信息的渠道也越来越多样化,各种搜索引擎、通讯工具、社交网站等普及应用,使得数据信息呈迅速增长趋势……查看详情

    发布时间:2019.07.26来源:知乎浏览量:130次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议