企业数据治理的坑你遇到过哪些?

发布时间:2019.09.12来源:知乎浏览量:7次标签:数据治理

在这些年的数据治理实践当中有成功的经验,当然也经历过很多失败的教训,有些教训反反复复的出现…笔者一直在思考怎么避免这些问题,所以今天就跟大家分享一下我们曾经遇到过的坑,希望对大家会一些指导意义。

数据治理当前大部分的立项都是信息技术部门,原因在于业务部门往往觉得数据治理和我没什么关系,技术部门大多是以数据中心或者大数据平台为出发点,受限于组织范围,不希望扩大到业务系统,只希望把自已负责的范围管好。

这种情况呈现出的状态,即客户遇到了数据质量的问题,也意识到要通过数据治理来解决,很多时候,客户所立的项目就叫数据治理,殊不知数据治理是一个很大的概念(这里指广义的数据治理),包括很多内容,想在一个项目里就做完是不可能的,很多人认为我们只做了元数据、数据质量、数据标准,内容不算多,但其实内容真的不少。很容易导致最后哪个也做不好,用不起来。

1.客户的需求不太明确
客户想了解数据治理,并且想花大价钱去做数据治理,必定是因为数据存在很大问题,很多脏数据导致分析得不好看,但是做什么,如何去做,做多大的范围,先做什么后做什么,达到什么样的目标,业务部门、技术部门、厂商之间如何配合做等等,很多客户其实并没有想清楚自已真正想解决的问题。于是,数据治理,很难找到一个切入点。

2.数据治理是技术部门的事

很多业务人员认为,数据治理是技术部门的事,但是其实数据产生问题,往往是来自源头,也就是业务人员,业务人员录入数据不规范或者缺失,导致数据产生各种问题,很多表面上的技术问题,如ETL过程中某代号变更导致数据加工出错,影响报表中的数据正确性等,在本质上其实还是业务管理的不规范。

在跟客户沟通交流的时候,会发现很多客户可能不知道数据产生问题的根本原因,只想通过技术去把数据治理好,错误数据治理正确,缺失数据补全,希望通过清洗去将数据治理好,然后分析得美观,但其实我们在治理数据的同时,需要去制订规范,去规范我们的数据,把错误数据扼杀在摇篮里,这样我们在治理数据的同时,能保证后面录入的时候不会再有错误数据,避免进入死循环,这就需要各个部门,技术和业务齐心协力,共同维护数据问题。

3.大而全的数据治理

出于投资回报的考虑,客户往往倾向于做一个覆盖全业务和技术域的、大而全的数据治理项目。从数据的产生,到加工、应用、销毁,数据的整个生命周期他们希望都能管到。从业务系统,到数据中心,到数据应用,里面的每个数据他们希望都能被纳入到数据治理的范围中来。

客户一般想要把数据治理做全,全生命周期的一个管理,从采集,到治理,到清洗,到分析,到销毁,从业务系统,到数据中心,到数据应用,里面的每个数据他们希望都能被纳入到数据治理的范围中来。但其实数据治理很广,想要在一个项目里面把数据治理做全是很难的,具体到实时层面要考虑各个因素,实施周期会比较长,所以会有一期、二期分批地去实现,我们需要引导客户,遵循2/8原则——80%的问题产生于20%的系统和数据——从最核心的系统、最重要的数据、最容易产生问题的地方开始着手做数据治理,进而推广到其他系统,把数据治理做全

对于企业而言,有效的数据治理是必不可少的,当企业在数据方面出现问题,无法为企业高层做分析决策提供数据支撑时,数据治理的启动势在必行,选择合适的时机启动数据治理,是避免决策出现重大失误的有效手段。目前国内能做数据治理的公司有亿信,普元、石竹等,其中亿信做这一块起步较早,已经有成熟的产品和解决方案

亿信华辰自主开发的睿治数据治理平台包含以下功能:

数据治理
元数据:元数据是数据治理的基础,是对数据的描述,可总览分析元数据之间的关系和互相之间的影响。

数据标准:数据标准是对数据进行统一的、规范的定义,确保数据在复杂数据环境中保持一致性、规范性,提高数据管控的效率,完善数据治理体系。

数据质量:数据质量包括对数据质量规则的定义、数据质量检查方案的定义,支持定时自动执行质量检查,自动生成质检报告,监控并揭示数据质量问题,提供问题明细查询和质量改进建议。

数据处理:数据处理主要用于对数据进行清洗、转换、整合、模型管理等处理工作,既可以用于对数据问题进行可行的修正,也可以用于为数据应用提供可靠的数据模型。

主数据:主数据是对需要共享的数据建立的统一管理,为各业务系统数据调用提供黄金数据。

数据资产:数据资产是将全部数据作为资产,进行不同角色的目录化管理,分析数据资产之间的关系,获知资产访问、利用情况等。

数据交换:数据交换用于实现不同机构不同系统之间的数据传输交换,完成基本的数据汇集,确保数据在传输中的完整性、一致性。

数据生命周期:对数据的全生命周期进行管理,主要是根据设置对数据进行自动归档和销毁,对近线数据和离线数据分别管理。

数据安全:数据安全贯穿于数据治理全过程,用于保证数据的安全性,提供对隐私数据的加密、模糊化处理。

睿治平台主要目的是发现并解决数据问题,通过一系列措施规范数据,减少数据问题发生,整体提高数据的应用价值。将实现业务目标作为数据管理和服务的核心驱动力,优化数据架构,提升数据仓库/信息化管理系统建设,支持管理能力的提高、精细化和决策的科学性。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据交换管理平台-数据交换的枢纽站

    数据交换管理平台-数据交换的枢纽站

    数据交换平台是数据中心与其它应用系统沟通的桥梁,是进行数据交换的枢纽站。数据交换平台负责从各个业务系统采集数据,对数据进行清洗与整合,按……查看详情

    发布时间:2020.04.23来源:知乎浏览量:9次

  • 物联网中的安全与数据治理到底怎么做?

    物联网中的安全与数据治理到底怎么做?

    如果企业和公共部门机构要启动成功的物联网项目,确保物联网系统和智能设备的用户保持安全,这要求他们的数据受到保护和谨慎管理至关重要。用户的……查看详情

    发布时间:2019.06.21来源:知乎浏览量:10次

  • 经济社会数字化转型的特征事实

    经济社会数字化转型的特征事实

    联合国、世界贸易组织、经济合作和发展组织、国际货币基金组织等先后于近期发表研究报告,从整体上描述了经济社会数字化转型的特征事实。概括起来……查看详情

    发布时间:2020.10.31来源:知乎浏览量:8次

  • 金融业的数据治理重要开端:数据流入

    金融业的数据治理重要开端:数据流入

    随着科技的发展,当今社会已经进入到了信息时代的下一阶段,“数据时代”,大数据成为了众多行业的风口,数据自然而然便……查看详情

    发布时间:2019.01.04来源:尼锅浏览量:13次

  • 数据交换标准是什么

    数据交换标准是什么

    目前,国内采用软件管理的企业众多,有的企业自己开发管理软件、有的购买软件厂商的产品。但是它们采用的数据库平台和数据库结构各不相同。不同企……查看详情

    发布时间:2020.08.12来源:小亿浏览量:6次

  • 数据治理的全球难题:法治化治理如何跟上技术更新步伐?

    数据治理的全球难题:法治化治理如何跟上技术更新步伐?

    随着技术的发展,需要治理的已不只是数据,人工智能算法等领域也成为治理课题。数据、互联网平台、人工智能算法应该如何治理?这在全球范围内都是……查看详情

    发布时间:2019.10.25来源:知乎浏览量:15次

  • 企业大数据体系构建,从这4层逐步递进递进

    企业大数据体系构建,从这4层逐步递进递进

    关于企业的大数据体系构建,可以分为4个层级,每个层级之间可以是递进的关系,虽然业务主导不同,但构建思路相通。关于企业的大数据体系构建,可……查看详情

    发布时间:2019.05.20来源:数据分析网浏览量:13次

  • 数据治理:让数据质量更好

    数据治理:让数据质量更好

    大数据时代数据产生的价值越来越大,基于数据的相关技术、应用形式也在快速发展,开发基于数据的新型应用已经成为高校信息化建设的一个重点领域。……查看详情

    发布时间:2019.02.12来源:亿信华辰浏览量:19次

  • 数据安全治理的基本思路

    数据安全治理的基本思路

    我们的世界正在进入一个奇怪的分裂状态:一方面人们为大数据时代即将在各个领域发生的革命性进步而激动难眠,另一方面人们也在为数据安全和隐私保……查看详情

    发布时间:2019.06.14来源:数据杂志浏览量:8次

  • 6个实施数据治理的最佳实践方法

    6个实施数据治理的最佳实践方法

    在寻找数据治理最佳实施方法时,您可以从已有的各种流程和模板工作的人那里学到很多东西。尽管每个企业都不同,您将需要根据流程调整数据治理实践……查看详情

    发布时间:2021.07.28来源:亿信数据治理知识库浏览量:42次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议