有效数据治理的6大原则

发布时间:2019.10.17来源:知乎浏览量:201次标签:数据治理

有效数据治理的6大原则 
如果你常常对数据准确性而烦恼,大部分时间都用于处理数据而不是对业务进行思考分析的话,那么你需要好好对数据进行治理了。
有效数据治理的6大原则
一、为什么要进行数据治理
不知道你是否有这样的感受,看到数据后,一脸懵逼,不知道各个表和字段代表什么意思,再看看别的同事写的SQL,一条SQL语句有几百行,各种表关联,然后问了其中一个同事,他说“别提了,数据都不准,我快被数据折磨死了!”,此时你是不是“想死”!欲哭无泪……
究其背后的原因,是因为负责的人只是问题使然,哪有问题哪里去补,没有整体的统筹规划,一步错,步步错,数据最后是越来越重,查询越来越复杂,数据准确性还没有人敢打保票,同时修复的难度也大大增加。

二、如何进行数据治理
如果要想将数据治理好的话,需要遵循以下六大原则、合理制定数据中间表模型以及埋点采集到应用全流程的把控。

1. 六大原则

原则1:关键概念多方共识
关键概念若涉及多方,比如成交客户的定义,要确保公司内部和客户相关的所有业务人员理解一致。
你或许会说,成交客户还不好理解么,就是购买了我公司产品且签署合同的用户就是一个成交客户,但是实际情况远非如此,笔者当时处理该块的业务时,问不同的业务人员得到的结果都不一样,这样就造成了数据指标统计的歧义甚至数据的不准确。
当一个合同主体变换名称(含工商注册名称变更、更换签约公司等),那么这个客户算一个成交客户吗?
同一个 集团/公司 下,不同的 子公司/业务线/部门 用同一个名字签署多个不同合同,属于单个成交客户还是多个成交客户?
当合同还在「待确认」或未拿到合同编号时,如果客户运营人员已经开始服务客户,那么这个客户算一个成交客户吗?……

原则2:某个类型的值经常发生变动,则需要冗余一个通用字段冗余值
笔者是深受其害,以前每个月底都需要找开发、业务人员对一遍数据,举个例子:
查询原始指标:soure_type为A,B的任务产出的金币数额为消费指标,SQL已针对该指标做了类型筛选。某一天业务运营人 员上线新的任务,C类型的任务会贡献金币流水,但是开发未告知数据人员,导致原来的关键指标数值出现差错。
处理过数据的同学都知道,某个指标的实现可能和其它几个关键指标相关,那么该指标的异常排查就需要逐个检查是哪个相关指标出问题了,查找到原因可能2,3天的时间就没了,但如果事先开发人员冗余了一个通用字段代表该类消费指标,那么后续不管业务人员上线多少个消费类型的任务,都不会对原来的指标产生影响。

原则3:每个实体都有唯一、不变的ID,最好没有实际意义
一是为了实体的唯一性,二是为了表关联或更新时不受业务的影响。

原则4:涉及协作的数据,发现问题要从修改源头做起,保证下一次拿到正确的数据
协作的数据可以说是一个串联的过程,源头的数据会逐层影响下层的数据,不要为了一时方便,只修改目前发现问题的地方,要从修改源头做起,方便他人即方便自己。

原则5:编写操作清单,操作前请三思
数据间存在关联,把数据间的关联关系陈列清楚、注意事项标注清楚,操作前一一核对,小数据量验证无错后,大数据量执行。

原则6:系统工程的方法管理数据,尽可能使用系统,监控数据错误并及时修复。
将使用数据的相关方都画在一张系统循环图中,观察数据错误产生于系统哪个环节,如何影响后续各个环节,避免恶性循环的产生。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 灵活的分析数据生命周期?

    灵活的分析数据生命周期?

    受监管实验室数据完整性指南的要求之一是数据生命周期,涵盖监管记录的生死。数据生命周期在最近的MHRA数据完整性指南中定义为“从生成和记录……查看详情

    发布时间:2018.12.27来源:数据治理浏览量:216次

  • 数据治理引领企业数字化转型

    数据治理引领企业数字化转型

    随着数字化时代的到来,数据已经成为了企业的重要资产之一。然而,如何确保数据的质量、安全性和合规性,成为了企业面临的难题。作为国内知名的数……查看详情

    发布时间:2023.09.26来源:互联网浏览量:200次

  • 如何选择合适的企业数据治理工具

    如何选择合适的企业数据治理工具

    清楚了在数据治理工具选择中的应注意的6大问题,才能在着手选择企业数据治理工具之前就可以清楚地知道要如何去做筛选。……查看详情

    发布时间:2021.03.31来源:数据治理研究院浏览量:183次

  • 如何建设财务主数据?四大问题对症下药各个击破

    如何建设财务主数据?四大问题对症下药各个击破

    企业主数据是用来描述企业核心业务实体的基础数据,它是具有高业务价值、可在企业内跨越各个业务部门被重复使用的数据。财务主数据作为企业主数据……查看详情

    发布时间:2020.09.19来源:头条浏览量:330次

  • 大数据和BI商业智能有何区别?有何相关?

    大数据和BI商业智能有何区别?有何相关?

    BI(BusinessIntelligence)即商业智能,它是企业数据化管理的一整套的方案,用来将企业中现有的数据进行有效的整合,快速……查看详情

    发布时间:2019.01.08来源:亿信华辰浏览量:175次

  • 数据治理,人工智能和医疗保健:令人兴奋的健康新世界

    数据治理,人工智能和医疗保健:令人兴奋的健康新世界

    随着AI变得越来越普遍,对数据治理的需求也在增加。这是一个由政府确定的问题,因为它最近宣布了一个监督大量数据集的道德小组。2017年1月……查看详情

    发布时间:2019.03.12来源:亿信华辰浏览量:169次

  • 数据质量六大评价标准是什么

    数据质量六大评价标准是什么

    随着大数据时代的带来,数据的应用也日趋繁茂,越来越多的应用和服务都基于数据而建立,数据的重要性不言而喻。而且,数据质量是数据分析和数据挖……查看详情

    发布时间:2022.03.28来源:小亿浏览量:6758次

  • 2021基层政府数据治理的必要性

    2021基层政府数据治理的必要性

    政府数据治理是指为高效发挥数据价值、达到治理能力现代化的目标,以政府为主导、社会共同负责的多元主体,运用各种可行手段对重要数据资源各个生……查看详情

    发布时间:2021.04.26来源:亿信数据治理知识库浏览量:289次

  • 数据交换管理平台-数据交换的枢纽站

    数据交换管理平台-数据交换的枢纽站

    数据交换平台是数据中心与其它应用系统沟通的桥梁,是进行数据交换的枢纽站。数据交换平台负责从各个业务系统采集数据,对数据进行清洗与整合,按……查看详情

    发布时间:2020.04.23来源:知乎浏览量:221次

  • 幸存下来的数据治理浪潮

    幸存下来的数据治理浪潮

    我们正在从大数据的狂野西部时期出现,当时的问题主要集中在技术上是否可行,而不是合法或道德。文化需要一段时间才能改变,工具的发展也需要时间……查看详情

    发布时间:2019.03.05来源:亿信华辰浏览量:175次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议