提高数据质量的方法

发布时间:2019.11.15来源:知乎浏览量:139次标签:数据治理

1、明确业务需求并从需求开始控制数据质量
要想真正解决数据质量问题,应该从需求开始,企业往往在定义清楚业务需求后忽略对数据质量的控制,而只对已经产生的数据做检查,然后再将错误数据剔除,这种方法治标不治本,不能从根本上解决问题。

企业需要将数据质量的控制从需求开始集成到分析人员、模型设计人员与开发人员的工作环境中,让大家在日常的工作环境中自动控制数据质量,在数据的全生命周期中控制数据质量。

2、建立数据质量管理机制
从业务出发做问题定义,由工具自动、及时发现问题,明确问题责任人,通过邮件、短信等方式进行通知,保证问题及时通知到责任人。跟踪问题整改进度,保证数据质量问题全过程的管理。

(1)探查数据内容、结构和异常通过探查,可以识别数据的优势和弱势,帮助企业确定业务实施计划。一个关键目标就是明确指出数据错误和问题,例如将会给业务流程带来威胁的不一致和冗余。

(2)建立数据质量度量并明确目标企业需建立一个共同的平台并完善度量标准,用户可以在数据质量记分卡中跟踪度量标准的达标情况,并通过电子邮件发送URL来与相关人员随时进行共享。

(3)设计和实施数据质量业务规则明确企业的数据质量规则,即可重复使用的业务逻辑,管理如何清洗数据和解析用于支持目标应用字段和数据。业务部门和IT部门通过使用基于角色的功能,一同设计、测试、完善和实施数据质量业务规则,以达成最好的结果。

(4)将数据质量规则构建到数据集成过程中

数据质量服务由可集中管理、独立于应用程序并可重复使用的业务规则构成,可用来执行探查、清洗、标准化、名称与地址匹配以及监测。

在企业大数据治理过程中,对于大数据生产线中的每个集成点,都需要做数据质量的检查,严格控制输入数据的质量。比如在数据采集过程,集成过程,分析过程等等都需要做检查。

但在大数据环境中,每个集成点都会有海量数据量流过,把数据逐条检查这种传统方式是行不通的,应该采用抽样的方式,对一批数据做数据质量的检查,来确定这批数据是否满足一定的质量区间,再决定是否需要对这批数据做详细的检查。

(5)检查异常并完善规则

在执行数据质量流程后,大多数记录将会被清洗和标准化,并达到企业所设定的数据质量目标。然而,无可避免,仍会存在一些没有被清洗的劣质数据,此时则需要完善控制数据质量的业务规则。

目前企业内的数据主要分为外部数据和内部数据,大数据时代到来让各企业广泛采购第三方数据,第三方数据的质量逐渐成为决定企业数据质量的关键因素。

对于企业的内部数据,可以通过业务梳理直接获得质量检核规则。但是对于外部第三方数据,需要先对这些数据进行采样,并应用关联算法自动发现其中的质量检核规则,并将这些检核规则持续积累,形成外部数据的检核规则库。

(6)对照目标,监测数据质量

数据质量控制不应为一次性的“边设边忘”活动。相对目标和在整个业务应用中持续监测和管理数据质量对于保持和改进高水平的数据质量性能而言是至关重要的。可选择仪表板和报告进行监测。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据资产管理经验干货心得分享

    数据资产管理经验干货心得分享

    数据资产的定义是是指由企业拥有或企业控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料,电子数据等。在企……查看详情

    发布时间:2020.08.19来源:微信浏览量:107次

  • 数据治理的伦理 - “数据带来利益和负债”

    数据治理的伦理 - “数据带来利益和负债”

    数据从未像现在这样强大。2018年发现了一些历史上最大的数据泄露事件,包括万豪酒店集团违规行为和剑桥分析公司丑闻,两者都对国际关系产生了……查看详情

    发布时间:2019.03.12来源:亿信华辰浏览量:126次

  • 为什么你应该有一个数据治理策略

    为什么你应该有一个数据治理策略

    数据治理愈来愈受市场重视,那么做好数据治理就应该展开相关的策略。……查看详情

    发布时间:2018.12.26来源:亿信华辰浏览量:132次

  • 什么数据可以成为“数据资产”

    什么数据可以成为“数据资产”

    什么数据可以成为数据资产?可作为“资产”的数据资源,表现为以下两种形式:可帮助现有产品实现收益的增长;数据本身可产生价值。……查看详情

    发布时间:2021.09.01来源:亿信华辰浏览量:316次

  • 谈谈数据治理是什么?

    谈谈数据治理是什么?

    数据治理这项工作一直都是存在的,和数据库设计的三范式一样都是为了数据的管理。数据治理是一整套完整的组织、制度、技术管理行为。……查看详情

    发布时间:2021.03.06来源:人人都是产品经理浏览量:134次

  • 数据治理新挑战:数据要素大规模流动

    数据治理新挑战:数据要素大规模流动

    “我们谈论大数据的时候在谈什么?”“数据生产要素、数据治理、隐私计算……这些都是关键词。”7月24日下午,2020年中国互联网大会“数据……查看详情

    发布时间:2020.07.31来源:知乎浏览量:146次

  • 大数据会取代传统BI吗

    大数据会取代传统BI吗

    BI一词早在20年前就被提出,加特纳集团将商业智能定义为描述一系列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。……查看详情

    发布时间:2019.03.14来源:亿信华辰浏览量:102次

  • 企业数据治理的坑你遇到过哪些?

    企业数据治理的坑你遇到过哪些?

    在这些年的数据治理实践当中有成功的经验,当然也经历过很多失败的教训,有些教训反反复复的出现…笔者一直在思考怎么避免这些问题,所以今天就跟……查看详情

    发布时间:2019.09.12来源:知乎浏览量:114次

  • 数据质量需求与定义

    数据质量需求与定义

    数据质量通常表现为一组具体的流程和技术,用于识别和修正数据中的错误以支持业务运行及决策支持。在银行实际中数据质量管理的应用场景主要包括数……查看详情

    发布时间:2019.11.15来源:知乎浏览量:231次

  • 数据治理与分析相结合

    数据治理与分析相结合

    不到十年前,由于规模,资源和组织能力的原因,大型企业比同行业的小企业具有显着的优势。现在已不再是这样,因为数字创新和全球化的推动,加上移……查看详情

    发布时间:2018.11.23来源:数据治理浏览量:180次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议