企业数据治理的坑你遇到过哪些?

发布时间:2019.09.12来源:知乎浏览量:116次标签:数据治理

在这些年的数据治理实践当中有成功的经验,当然也经历过很多失败的教训,有些教训反反复复的出现…笔者一直在思考怎么避免这些问题,所以今天就跟大家分享一下我们曾经遇到过的坑,希望对大家会一些指导意义。

数据治理当前大部分的立项都是信息技术部门,原因在于业务部门往往觉得数据治理和我没什么关系,技术部门大多是以数据中心或者大数据平台为出发点,受限于组织范围,不希望扩大到业务系统,只希望把自已负责的范围管好。

这种情况呈现出的状态,即客户遇到了数据质量的问题,也意识到要通过数据治理来解决,很多时候,客户所立的项目就叫数据治理,殊不知数据治理是一个很大的概念(这里指广义的数据治理),包括很多内容,想在一个项目里就做完是不可能的,很多人认为我们只做了元数据、数据质量、数据标准,内容不算多,但其实内容真的不少。很容易导致最后哪个也做不好,用不起来。

1.客户的需求不太明确
客户想了解数据治理,并且想花大价钱去做数据治理,必定是因为数据存在很大问题,很多脏数据导致分析得不好看,但是做什么,如何去做,做多大的范围,先做什么后做什么,达到什么样的目标,业务部门、技术部门、厂商之间如何配合做等等,很多客户其实并没有想清楚自已真正想解决的问题。于是,数据治理,很难找到一个切入点。

2.数据治理是技术部门的事

很多业务人员认为,数据治理是技术部门的事,但是其实数据产生问题,往往是来自源头,也就是业务人员,业务人员录入数据不规范或者缺失,导致数据产生各种问题,很多表面上的技术问题,如ETL过程中某代号变更导致数据加工出错,影响报表中的数据正确性等,在本质上其实还是业务管理的不规范。

在跟客户沟通交流的时候,会发现很多客户可能不知道数据产生问题的根本原因,只想通过技术去把数据治理好,错误数据治理正确,缺失数据补全,希望通过清洗去将数据治理好,然后分析得美观,但其实我们在治理数据的同时,需要去制订规范,去规范我们的数据,把错误数据扼杀在摇篮里,这样我们在治理数据的同时,能保证后面录入的时候不会再有错误数据,避免进入死循环,这就需要各个部门,技术和业务齐心协力,共同维护数据问题。

3.大而全的数据治理

出于投资回报的考虑,客户往往倾向于做一个覆盖全业务和技术域的、大而全的数据治理项目。从数据的产生,到加工、应用、销毁,数据的整个生命周期他们希望都能管到。从业务系统,到数据中心,到数据应用,里面的每个数据他们希望都能被纳入到数据治理的范围中来。

客户一般想要把数据治理做全,全生命周期的一个管理,从采集,到治理,到清洗,到分析,到销毁,从业务系统,到数据中心,到数据应用,里面的每个数据他们希望都能被纳入到数据治理的范围中来。但其实数据治理很广,想要在一个项目里面把数据治理做全是很难的,具体到实时层面要考虑各个因素,实施周期会比较长,所以会有一期、二期分批地去实现,我们需要引导客户,遵循2/8原则——80%的问题产生于20%的系统和数据——从最核心的系统、最重要的数据、最容易产生问题的地方开始着手做数据治理,进而推广到其他系统,把数据治理做全

对于企业而言,有效的数据治理是必不可少的,当企业在数据方面出现问题,无法为企业高层做分析决策提供数据支撑时,数据治理的启动势在必行,选择合适的时机启动数据治理,是避免决策出现重大失误的有效手段。目前国内能做数据治理的公司有亿信,普元、石竹等,其中亿信做这一块起步较早,已经有成熟的产品和解决方案

亿信华辰自主开发的睿治数据治理平台包含以下功能:

数据治理
元数据:元数据是数据治理的基础,是对数据的描述,可总览分析元数据之间的关系和互相之间的影响。

数据标准:数据标准是对数据进行统一的、规范的定义,确保数据在复杂数据环境中保持一致性、规范性,提高数据管控的效率,完善数据治理体系。

数据质量:数据质量包括对数据质量规则的定义、数据质量检查方案的定义,支持定时自动执行质量检查,自动生成质检报告,监控并揭示数据质量问题,提供问题明细查询和质量改进建议。

数据处理:数据处理主要用于对数据进行清洗、转换、整合、模型管理等处理工作,既可以用于对数据问题进行可行的修正,也可以用于为数据应用提供可靠的数据模型。

主数据:主数据是对需要共享的数据建立的统一管理,为各业务系统数据调用提供黄金数据。

数据资产:数据资产是将全部数据作为资产,进行不同角色的目录化管理,分析数据资产之间的关系,获知资产访问、利用情况等。

数据交换:数据交换用于实现不同机构不同系统之间的数据传输交换,完成基本的数据汇集,确保数据在传输中的完整性、一致性。

数据生命周期:对数据的全生命周期进行管理,主要是根据设置对数据进行自动归档和销毁,对近线数据和离线数据分别管理。

数据安全:数据安全贯穿于数据治理全过程,用于保证数据的安全性,提供对隐私数据的加密、模糊化处理。

睿治平台主要目的是发现并解决数据问题,通过一系列措施规范数据,减少数据问题发生,整体提高数据的应用价值。将实现业务目标作为数据管理和服务的核心驱动力,优化数据架构,提升数据仓库/信息化管理系统建设,支持管理能力的提高、精细化和决策的科学性。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 治理成熟度差距以及如何克服它

    治理成熟度差距以及如何克服它

    了解您在真正的IG成熟度方面的立场,并在自己和团队中识别变革的阻力。不要回避要求定期审核和验尸以评估进度和后续步骤。通过具体信息,您可以……查看详情

    发布时间:2019.03.13来源:亿信华辰浏览量:118次

  • 指数技术时代的数据治理

    指数技术时代的数据治理

    新兴的数据需求和数据生成技术需要两种类型的数据治理:安全性,以及整体企业级治理的需求,而不是逐个孤岛的治理。企业中出现了一个重要的新价值……查看详情

    发布时间:2019.01.02来源:亿信华辰浏览量:141次

  • 2019年的数据架构趋势

    2019年的数据架构趋势

    当今数字业务的一个主要问题是数据的可靠性。许多商业用户仍在评判数据引导分析的最终价值,并持有一定程度的怀疑态度,这只会随着时间的推移而改……查看详情

    发布时间:2019.02.13来源:数据治理浏览量:100次

  • 从数据中台到AI中台

    从数据中台到AI中台

    企业对数据的利用有三个阶段:响应运营,响应业务,创造业务。数据中台解决的是响应业务的问题,第三阶段“创造业务”,则需要AI中台。1、数据……查看详情

    发布时间:2019.03.14来源:亿信华辰浏览量:114次

  • 数据治理(DG)

    数据治理(DG)

    数据治理(DG)是对企业中使用的数据的可用性,可用性,完整性和安全性的整体管理。健全的数据治理计划包括理事机构或理事会,一套明确的程序和……查看详情

    发布时间:2018.11.12来源:techtarget浏览量:162次

  • 国内数据治理有何新动向?

    国内数据治理有何新动向?

    大数据时代,大数据技术在飞速的发展,逐渐的,大数据融入了各行各业,并且深受各大企业的喜欢,为了让各个企业的数据资产得到充分的利用,数据治……查看详情

    发布时间:2019.09.23来源:知乎浏览量:143次

  • 数据治理不应成为吞下难以接受的药物

    数据治理不应成为吞下难以接受的药物

    对于制药公司而言,数据治理是数据管理难题的关键部分。……查看详情

    发布时间:2019.01.17来源:亿信华辰浏览量:117次

  • 你以为建设大数据平台就好了,还差这一步

    你以为建设大数据平台就好了,还差这一步

    长期以来,大家一直忽略一个问题:数据跟原来的企业应用系统一样,它是需要被管理的。企业逐渐了解数据所蕴含的价值,对数据的重视程度越来越高。……查看详情

    发布时间:2019.06.03来源:亿信华辰浏览量:86次

  • 大数据技术学习,深度挖掘大数据的现状分析

    大数据技术学习,深度挖掘大数据的现状分析

    企业级技术 = 艰苦的工作 其实大数据有趣的是它不是直接可以炒作的东西。 能够获得广泛兴趣的产品和服务往往是那些人们可以触摸……查看详情

    发布时间:2019.03.20来源:亿信华辰浏览量:132次

  • 对于制药公司而言,数据治理不应成为吞下难以接受的药物

    对于制药公司而言,数据治理不应成为吞下难以接受的药物

    制药和生命科学公司面临着许多与其他行业相同的数字转型压力,例如我们之前探讨过的金融服务和医疗保健。作为回应,他们正在转向高级分析平台和基……查看详情

    发布时间:2018.12.06来源:迈克尔帕斯托雷浏览量:118次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议