企业数据治理的坑你遇到过哪些?

发布时间:2019.09.12来源:知乎浏览量:139次标签:数据治理

在这些年的数据治理实践当中有成功的经验,当然也经历过很多失败的教训,有些教训反反复复的出现…笔者一直在思考怎么避免这些问题,所以今天就跟大家分享一下我们曾经遇到过的坑,希望对大家会一些指导意义。

数据治理当前大部分的立项都是信息技术部门,原因在于业务部门往往觉得数据治理和我没什么关系,技术部门大多是以数据中心或者大数据平台为出发点,受限于组织范围,不希望扩大到业务系统,只希望把自已负责的范围管好。

这种情况呈现出的状态,即客户遇到了数据质量的问题,也意识到要通过数据治理来解决,很多时候,客户所立的项目就叫数据治理,殊不知数据治理是一个很大的概念(这里指广义的数据治理),包括很多内容,想在一个项目里就做完是不可能的,很多人认为我们只做了元数据、数据质量、数据标准,内容不算多,但其实内容真的不少。很容易导致最后哪个也做不好,用不起来。

1.客户的需求不太明确
客户想了解数据治理,并且想花大价钱去做数据治理,必定是因为数据存在很大问题,很多脏数据导致分析得不好看,但是做什么,如何去做,做多大的范围,先做什么后做什么,达到什么样的目标,业务部门、技术部门、厂商之间如何配合做等等,很多客户其实并没有想清楚自已真正想解决的问题。于是,数据治理,很难找到一个切入点。

2.数据治理是技术部门的事

很多业务人员认为,数据治理是技术部门的事,但是其实数据产生问题,往往是来自源头,也就是业务人员,业务人员录入数据不规范或者缺失,导致数据产生各种问题,很多表面上的技术问题,如ETL过程中某代号变更导致数据加工出错,影响报表中的数据正确性等,在本质上其实还是业务管理的不规范。

在跟客户沟通交流的时候,会发现很多客户可能不知道数据产生问题的根本原因,只想通过技术去把数据治理好,错误数据治理正确,缺失数据补全,希望通过清洗去将数据治理好,然后分析得美观,但其实我们在治理数据的同时,需要去制订规范,去规范我们的数据,把错误数据扼杀在摇篮里,这样我们在治理数据的同时,能保证后面录入的时候不会再有错误数据,避免进入死循环,这就需要各个部门,技术和业务齐心协力,共同维护数据问题。

3.大而全的数据治理

出于投资回报的考虑,客户往往倾向于做一个覆盖全业务和技术域的、大而全的数据治理项目。从数据的产生,到加工、应用、销毁,数据的整个生命周期他们希望都能管到。从业务系统,到数据中心,到数据应用,里面的每个数据他们希望都能被纳入到数据治理的范围中来。

客户一般想要把数据治理做全,全生命周期的一个管理,从采集,到治理,到清洗,到分析,到销毁,从业务系统,到数据中心,到数据应用,里面的每个数据他们希望都能被纳入到数据治理的范围中来。但其实数据治理很广,想要在一个项目里面把数据治理做全是很难的,具体到实时层面要考虑各个因素,实施周期会比较长,所以会有一期、二期分批地去实现,我们需要引导客户,遵循2/8原则——80%的问题产生于20%的系统和数据——从最核心的系统、最重要的数据、最容易产生问题的地方开始着手做数据治理,进而推广到其他系统,把数据治理做全

对于企业而言,有效的数据治理是必不可少的,当企业在数据方面出现问题,无法为企业高层做分析决策提供数据支撑时,数据治理的启动势在必行,选择合适的时机启动数据治理,是避免决策出现重大失误的有效手段。目前国内能做数据治理的公司有亿信,普元、石竹等,其中亿信做这一块起步较早,已经有成熟的产品和解决方案

亿信华辰自主开发的睿治数据治理平台包含以下功能:

数据治理
元数据:元数据是数据治理的基础,是对数据的描述,可总览分析元数据之间的关系和互相之间的影响。

数据标准:数据标准是对数据进行统一的、规范的定义,确保数据在复杂数据环境中保持一致性、规范性,提高数据管控的效率,完善数据治理体系。

数据质量:数据质量包括对数据质量规则的定义、数据质量检查方案的定义,支持定时自动执行质量检查,自动生成质检报告,监控并揭示数据质量问题,提供问题明细查询和质量改进建议。

数据处理:数据处理主要用于对数据进行清洗、转换、整合、模型管理等处理工作,既可以用于对数据问题进行可行的修正,也可以用于为数据应用提供可靠的数据模型。

主数据:主数据是对需要共享的数据建立的统一管理,为各业务系统数据调用提供黄金数据。

数据资产:数据资产是将全部数据作为资产,进行不同角色的目录化管理,分析数据资产之间的关系,获知资产访问、利用情况等。

数据交换:数据交换用于实现不同机构不同系统之间的数据传输交换,完成基本的数据汇集,确保数据在传输中的完整性、一致性。

数据生命周期:对数据的全生命周期进行管理,主要是根据设置对数据进行自动归档和销毁,对近线数据和离线数据分别管理。

数据安全:数据安全贯穿于数据治理全过程,用于保证数据的安全性,提供对隐私数据的加密、模糊化处理。

睿治平台主要目的是发现并解决数据问题,通过一系列措施规范数据,减少数据问题发生,整体提高数据的应用价值。将实现业务目标作为数据管理和服务的核心驱动力,优化数据架构,提升数据仓库/信息化管理系统建设,支持管理能力的提高、精细化和决策的科学性。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 说说银行业信息部数据治理的体验

    说说银行业信息部数据治理的体验

    数据治理本身分狭义和广义两个区别,狭义的治理主要是组织、制度、流程这些,datagovernance的一个定义就是themanageme……查看详情

    发布时间:2020.02.21来源:知乎浏览量:135次

  • Spring Boot、微服务架构和大数据治理三者之间的故事

    Spring Boot、微服务架构和大数据治理三者之间的故事

    微服务的诞生并非偶然,它是在互联网高速发展,技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物。……查看详情

    发布时间:2019.01.07来源:亿信华辰浏览量:142次

  • 那些关于数据治理的不过时观点

    那些关于数据治理的不过时观点

    数据是有成本,数据是有成本的。存储数据是需要成本的,数据的成本绝非只有物理存储空间成本那么简单,实际上它包括了下述五种成本要素:……查看详情

    发布时间:2019.08.19来源:CSDN浏览量:189次

  • 数据治理治的是“数据”吗?

    数据治理治的是“数据”吗?

    数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。其实在我看来,……查看详情

    发布时间:2020.07.07来源:知乎浏览量:126次

  • 数据治理概述

    数据治理概述

    每天,大学的数据都会被评估,创建,使用,存储,存档,报告或删除。数据治理为罗切斯特的这些信息的定义,交换,完整性和安全性设定了标准和协议……查看详情

    发布时间:2018.11.26来源:数据治理浏览量:237次

  • 来自园艺的5个数据治理课程

    来自园艺的5个数据治理课程

    所有这些数据增长和收购挑战都要求我们重新考虑我们的数据治理策略。我们根本没有确保正确管理和使用数据所需的可见性。我们的首要任务是消除风险……查看详情

    发布时间:2018.12.04来源:Debi Tadd浏览量:252次

  • 创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    工业互联网激起能源领域一池春水,新一代信息技术则是其不断发展的加速器。山东能源集团下属临沂矿业集团有限责任公司(以下简称临矿集团)率先在……查看详情

    发布时间:2021.02.04来源:亿信华辰浏览量:385次

  • 数据湖治理最佳实践

    数据湖治理最佳实践

    如果没有最佳实践,存储将变得无法维护。自动化数据质量,生命周期和隐私可以持续清理/移动湖中的数据。……查看详情

    发布时间:2019.03.11来源:亿信华辰浏览量:136次

  • 让数据清澈如水:数据清洗的策略与方法

    让数据清澈如水:数据清洗的策略与方法

    在数据仓库中,数据是面向某一主题的数据的集合,这些数据从多个业务系统抽取而来,不同的数据来源加上历史数据的堆积,难免会有问题数据出现,这……查看详情

    发布时间:2020.11.23来源:亿信华辰浏览量:225次

  • 数据治理,更依赖人治还是自治?

    数据治理,更依赖人治还是自治?

    数据治理“自治”包含两层含义:自动化治理和自助化治理。数据中台,是能力的下沉,数据处理能力下沉为加工平台,数据处理结果下沉为数据资产。那……查看详情

    发布时间:2019.11.18来源:知乎浏览量:148次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议