数据质量监控

发布时间:2019.12.06来源:知乎浏览量:5次标签:数据治理

数据质量监控可以分为数据质量的事前预防控制、事中过程控制和事后监督控制:


事前预防控制
建立数据标准化模型,对每个数据元素的业务描述、数据结构、业务规则、质量规则、管理规则、采集规则进行清晰的定义,以上的数据质量的校验规则、采集规则本身也是一种数据,在元数据中定义。面对庞大的数据种类和结构,如果没有元数据来描述这些数据,使用者无法准确地获取所需信息。正是通过元数据,使得数据才可以被理解、使用,才会产生价值。构建数据分类和编码体系,形成企业数据资源目录,让用户能够轻松地查找和定位到相关的数据。实践告诉我们做好元数据管理,是预防数据质量问题的基础。

数据质量问题的预防控制最有效的方法就是找出发生数据质量问题的根本原因并采取相关的策略进行解决。
1)确定根本原因:确定引起数据质量问题的相关因素,并区分它们的优先次序,以及为解决这些问题形成具体的建议。

2)制定和实施改进方案:最终确定关于行动的具体建议和措施,基于这些建议制定并且执行提高方案,预防未来数据质量问题的发生。


事中过程控制
事中数据质量的控制,即在数据的维护和使用过程中去监控和处理数据质量。通过建立数据质量的流程化控制体系,对数据的新建、变更、采集、加工、装载、应用等各个环节进行流程化控制。数据质量的过程控制,要做好两个强化:
(1)强化数据的标准化生产,从数据的源头控制好数据质量,该过程可以采用系统自动化校验和人工干预审核相结合的方式进行管理,数据的新增和变更一方面通过系统进行数据校验,对于不符合质量规则的数据不允许保持,另一方面采集流程驱动的数据管理模式,数据的新增和变更操作都需要人工进行审核,只有审核通过才能生效。
(2)强化数据质量预警机制,对于数据质量边界模糊的数据采用数据质量预警机制。数据预警机制是对数据相似性和数据关联性指标的重要控制方法。针对待管理的数据元素,配置数据相似性算法或数据关联性算法,在数据新增、变更、处理、应用等环节调用预置的数据质量算法,进行相识度或关联性分析,并给出数据分析的结果。数据预警机制常用在业务活动的交易风险控制等场景。

事后监督控制
是不是我们最好了事前预防控制和事中过程控制,就不会再有数据质量问题的发生了?答案显然是否定的。而事实上,不论我们做了多少预防措施、多严格的过程控制,总是还有数据质量问题的“漏网之鱼”,你会发现只要是人为干预的过程,总会存在数据质量的问题。数据质量问题一旦产生就已经是“木已成舟”,为了避免或减低其对业务的影响,我们需要及时的发现它。这里,数据质量的事后监督控制就尤为重要了。

定期开展数据质量的检查和清洗工作应作为企业数据质量治理的常态工作来抓。
1)设置数据质量规则。基于数据的元模型配置数据质量规则,即针对不同的数据对象,配置相应的数据质量指标,不限于:数据唯一性、数据准确性、数据完整性、数据一致性、数据关联性、数据及时性等。
2)设置数据检查任务。设置成手动执行或定期自动执行的系统任务,通过执行检查任务对存量数据进行检查,形成数据质量问题清单。
3)出具数据质量问题报告。根据数据质量问题清单汇总形成数据质量报告,数据质量报告支持查询、下载等操作。
4)制定和实施数据质量改进方案,进行数据质量问题的处理。
5)评估与考核。通过定期对系统开展全面的数据质量状况评估,从问题率、解决率、解决时效等方面建立评价指标进行整改评估,根据整改优化结果,进行适当的绩效考核。

数据治理的“常态化”才是数据质量问题的最好解决方式,而要实现常态化治理就需要改变原来的企业组织形式、管理流程、转变观念,以适应这种变化。数据治理的“常态化”要经得起折腾,所以千万不能老做些重新发明轮子的亊情!

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 银行金融机构如何做好数据治理

    银行金融机构如何做好数据治理

    数据治理是用于描述给定组织中数据的所有过程和管理的术语,包括所述数据的质量,保护和使用。由于所持数据的性质,金融服务公司可能特别需要治理……查看详情

    发布时间:2019.08.16来源:知乎浏览量:4次

  • 美国数据治理有何新动向?

    美国数据治理有何新动向?

    大数据时代,美国高度重视数据资源的战略价值,相继出台国家战略,落实配套措施,系统推动本国大数据发展。通过加强数据安全保护,完善个人信息和……查看详情

    发布时间:2018.10.10来源:中国信息通信浏览量:4次

  • 数据服务交换和服务工具经历三个阶段

    数据服务交换和服务工具经历三个阶段

    数据交换平台是为校内各部门的管理信息系统提供数据交换,实现数据共享,并建立公共数据库,实现数据积累,为数据统计、分析、挖掘做准备。……查看详情

    发布时间:2020.08.06来源:知乎浏览量:6次

  • 企业如何开展数据治理项目

    企业如何开展数据治理项目

    从大的阶段来看,数据治理主要分为存量数据“由乱到治”的阶段,以及增量数据严格按照规章制度实施确保“行不逾矩”的运营阶段。在“由乱到治”的……查看详情

    发布时间:2020.06.30来源:知乎浏览量:2次

  • 企业大数据体系构建,从这4层逐步递进递进

    企业大数据体系构建,从这4层逐步递进递进

    关于企业的大数据体系构建,可以分为4个层级,每个层级之间可以是递进的关系,虽然业务主导不同,但构建思路相通。关于企业的大数据体系构建,可……查看详情

    发布时间:2019.05.20来源:数据分析网浏览量:6次

  • 什么是元数据?元数据管理的作用是什么?

    什么是元数据?元数据管理的作用是什么?

    为了更好地理解企业拥有的数据,必须访问关联的元数据。 元数据管理帮助您判断数据来自何处,其在不同系统中的位置以及如何使用。元数据用于管理……查看详情

    发布时间:2021.03.31来源:数据治理研究院浏览量:5次

  • 2019年专注于稳健数据治理的合规性,质量和定制

    2019年专注于稳健数据治理的合规性,质量和定制

    数据治理,组织内数据的正确和有组织的管理,仍然是2019年的一个焦点。对于希望充分利用其数据的组织,他们必须建立系统以确保数据的正确性,……查看详情

    发布时间:2019.03.26来源:亿信华辰浏览量:5次

  • 金融行业大数据标准体系设计

    金融行业大数据标准体系设计

    金融大数据标准体系可分为基础标准、业务标准、治理标准和技术标准四大类。各类标准之间相互联系、相互约束、相互补充,共同构成完整的统一体。同……查看详情

    发布时间:2019.12.27来源:CSDN浏览量:4次

  • 大数据时代的企业都有那些数据质量问题

    大数据时代的企业都有那些数据质量问题

    企业要想充发挥大数据的作用,就要保证数据的可靠、及时、准确,只有从高质量的数中提取出来的有用信息,企业才可以做出更精准的决策,才能更了解……查看详情

    发布时间:2019.09.27来源:数据分析网浏览量:3次

  • 数据治理方法 | 美国高校数据治理方法借鉴

    数据治理方法 | 美国高校数据治理方法借鉴

    高等教育中的数据治理是一种风险管理工具,可促进家庭教育和监管合规性,因为它旨在保护隐私和敏感信息。最后,数据是一种资产,如果使用得当,可……查看详情

    发布时间:2021.06.02来源:亿信华辰数据治理知识库浏览量:9次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议