企业数据治理的坑你遇到过哪些?

发布时间:2019.09.12来源:知乎浏览量:134次标签:数据治理

在这些年的数据治理实践当中有成功的经验,当然也经历过很多失败的教训,有些教训反反复复的出现…笔者一直在思考怎么避免这些问题,所以今天就跟大家分享一下我们曾经遇到过的坑,希望对大家会一些指导意义。

数据治理当前大部分的立项都是信息技术部门,原因在于业务部门往往觉得数据治理和我没什么关系,技术部门大多是以数据中心或者大数据平台为出发点,受限于组织范围,不希望扩大到业务系统,只希望把自已负责的范围管好。

这种情况呈现出的状态,即客户遇到了数据质量的问题,也意识到要通过数据治理来解决,很多时候,客户所立的项目就叫数据治理,殊不知数据治理是一个很大的概念(这里指广义的数据治理),包括很多内容,想在一个项目里就做完是不可能的,很多人认为我们只做了元数据、数据质量、数据标准,内容不算多,但其实内容真的不少。很容易导致最后哪个也做不好,用不起来。

1.客户的需求不太明确
客户想了解数据治理,并且想花大价钱去做数据治理,必定是因为数据存在很大问题,很多脏数据导致分析得不好看,但是做什么,如何去做,做多大的范围,先做什么后做什么,达到什么样的目标,业务部门、技术部门、厂商之间如何配合做等等,很多客户其实并没有想清楚自已真正想解决的问题。于是,数据治理,很难找到一个切入点。

2.数据治理是技术部门的事

很多业务人员认为,数据治理是技术部门的事,但是其实数据产生问题,往往是来自源头,也就是业务人员,业务人员录入数据不规范或者缺失,导致数据产生各种问题,很多表面上的技术问题,如ETL过程中某代号变更导致数据加工出错,影响报表中的数据正确性等,在本质上其实还是业务管理的不规范。

在跟客户沟通交流的时候,会发现很多客户可能不知道数据产生问题的根本原因,只想通过技术去把数据治理好,错误数据治理正确,缺失数据补全,希望通过清洗去将数据治理好,然后分析得美观,但其实我们在治理数据的同时,需要去制订规范,去规范我们的数据,把错误数据扼杀在摇篮里,这样我们在治理数据的同时,能保证后面录入的时候不会再有错误数据,避免进入死循环,这就需要各个部门,技术和业务齐心协力,共同维护数据问题。

3.大而全的数据治理

出于投资回报的考虑,客户往往倾向于做一个覆盖全业务和技术域的、大而全的数据治理项目。从数据的产生,到加工、应用、销毁,数据的整个生命周期他们希望都能管到。从业务系统,到数据中心,到数据应用,里面的每个数据他们希望都能被纳入到数据治理的范围中来。

客户一般想要把数据治理做全,全生命周期的一个管理,从采集,到治理,到清洗,到分析,到销毁,从业务系统,到数据中心,到数据应用,里面的每个数据他们希望都能被纳入到数据治理的范围中来。但其实数据治理很广,想要在一个项目里面把数据治理做全是很难的,具体到实时层面要考虑各个因素,实施周期会比较长,所以会有一期、二期分批地去实现,我们需要引导客户,遵循2/8原则——80%的问题产生于20%的系统和数据——从最核心的系统、最重要的数据、最容易产生问题的地方开始着手做数据治理,进而推广到其他系统,把数据治理做全

对于企业而言,有效的数据治理是必不可少的,当企业在数据方面出现问题,无法为企业高层做分析决策提供数据支撑时,数据治理的启动势在必行,选择合适的时机启动数据治理,是避免决策出现重大失误的有效手段。目前国内能做数据治理的公司有亿信,普元、石竹等,其中亿信做这一块起步较早,已经有成熟的产品和解决方案

亿信华辰自主开发的睿治数据治理平台包含以下功能:

数据治理
元数据:元数据是数据治理的基础,是对数据的描述,可总览分析元数据之间的关系和互相之间的影响。

数据标准:数据标准是对数据进行统一的、规范的定义,确保数据在复杂数据环境中保持一致性、规范性,提高数据管控的效率,完善数据治理体系。

数据质量:数据质量包括对数据质量规则的定义、数据质量检查方案的定义,支持定时自动执行质量检查,自动生成质检报告,监控并揭示数据质量问题,提供问题明细查询和质量改进建议。

数据处理:数据处理主要用于对数据进行清洗、转换、整合、模型管理等处理工作,既可以用于对数据问题进行可行的修正,也可以用于为数据应用提供可靠的数据模型。

主数据:主数据是对需要共享的数据建立的统一管理,为各业务系统数据调用提供黄金数据。

数据资产:数据资产是将全部数据作为资产,进行不同角色的目录化管理,分析数据资产之间的关系,获知资产访问、利用情况等。

数据交换:数据交换用于实现不同机构不同系统之间的数据传输交换,完成基本的数据汇集,确保数据在传输中的完整性、一致性。

数据生命周期:对数据的全生命周期进行管理,主要是根据设置对数据进行自动归档和销毁,对近线数据和离线数据分别管理。

数据安全:数据安全贯穿于数据治理全过程,用于保证数据的安全性,提供对隐私数据的加密、模糊化处理。

睿治平台主要目的是发现并解决数据问题,通过一系列措施规范数据,减少数据问题发生,整体提高数据的应用价值。将实现业务目标作为数据管理和服务的核心驱动力,优化数据架构,提升数据仓库/信息化管理系统建设,支持管理能力的提高、精细化和决策的科学性。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据质量衡量标准有几个属性

    数据质量衡量标准有几个属性

    数据分析和数据挖掘都离不开数据的质量,做过数据产品的人都知道,质量高的数据对于产品的意义有多大,如果说数据是不具备完整性、规范性以及一致……查看详情

    发布时间:2022.03.28来源:小亿浏览量:419次

  • 安全合作伙伴共同为云和多云合规性增强数据治理和隐私

    安全合作伙伴共同为云和多云合规性增强数据治理和隐私

    企业可以限制这些风险 - 以及手动控制错误配置,云环境政策孤岛和云锁定的潜在风险……查看详情

    发布时间:2019.01.22来源:亿信华辰浏览量:143次

  • 金融行业数据治理的问题与对策

    金融行业数据治理的问题与对策

    银行数据治理工作不是个别部门或少数人员能够妥善完成的,而是需要各部门之间、各层级之间的相互支持与协作,尤其需要加强科技部门与业务部门之间……查看详情

    发布时间:2019.10.16来源:知乎浏览量:150次

  • 数据治理如何推动医疗大数据的发展

    数据治理如何推动医疗大数据的发展

    数据治理是一种管理数据的方法,允许组织平衡两个需求:收集和保护信息的需求,同时从信息中获取价值。但它远不止于此。医疗大数据其中的健康数据……查看详情

    发布时间:2019.08.15来源:知乎浏览量:149次

  • 数据治理全域解决方案来了:对症下药 各个击破

    数据治理全域解决方案来了:对症下药 各个击破

    如今数据治理作为数字化转型的基础,成为了数字化变革中的焦点和主战场。不少小伙伴向小亿诉苦,“到底该如何着手做数据治理,能不能先做元数据管……查看详情

    发布时间:2022.01.22来源:小亿浏览量:842次

  • 大数据资产管理平台建设方案

    大数据资产管理平台建设方案

    数据资产管理服务工作,涵盖企业IT系统生命周期的不同阶段,协助企业建立适合自身特点的数据资产管理制度,提升企业对自身数据资产管理的能力,……查看详情

    发布时间:2020.08.28来源:知乎浏览量:192次

  • 企业如何有效进行数据治理

    企业如何有效进行数据治理

    如果你处理或使用过大量数据,一定有听到过“数据治理”这个词。你会思考数据治理是什么?……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:153次

  • 数据治理要处理好四个关系

    数据治理要处理好四个关系

    随着我国大数据战略的不断推进,各类生产生活行为都以数据的形式全景留痕,构建了一个与现实空间平行的“数据空间”,数据治理呼之欲出。要切实发……查看详情

    发布时间:2020.04.09来源:知乎浏览量:128次

  • 数据治理标准:数据质量六大评价标准

    数据治理标准:数据质量六大评价标准

    众所周知,大数据建设的目标是为了融合组织数据,增加组织的洞察力和竞争力,实现业务创新和产业升级。因此,数据是企业数字化转型的核心要素,而……查看详情

    发布时间:2022.03.10来源:小亿浏览量:1821次

  • 灵活的分析数据生命周期?

    灵活的分析数据生命周期?

    受监管实验室数据完整性指南的要求之一是数据生命周期,涵盖监管记录的生死。数据生命周期在最近的MHRA数据完整性指南中定义为“从生成和记录……查看详情

    发布时间:2018.12.27来源:数据治理浏览量:166次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议