企业数据治理的坑你遇到过哪些?

发布时间:2019.09.12来源:知乎浏览量:170次标签:数据治理

在这些年的数据治理实践当中有成功的经验,当然也经历过很多失败的教训,有些教训反反复复的出现…笔者一直在思考怎么避免这些问题,所以今天就跟大家分享一下我们曾经遇到过的坑,希望对大家会一些指导意义。

数据治理当前大部分的立项都是信息技术部门,原因在于业务部门往往觉得数据治理和我没什么关系,技术部门大多是以数据中心或者大数据平台为出发点,受限于组织范围,不希望扩大到业务系统,只希望把自已负责的范围管好。

这种情况呈现出的状态,即客户遇到了数据质量的问题,也意识到要通过数据治理来解决,很多时候,客户所立的项目就叫数据治理,殊不知数据治理是一个很大的概念(这里指广义的数据治理),包括很多内容,想在一个项目里就做完是不可能的,很多人认为我们只做了元数据、数据质量、数据标准,内容不算多,但其实内容真的不少。很容易导致最后哪个也做不好,用不起来。

1.客户的需求不太明确
客户想了解数据治理,并且想花大价钱去做数据治理,必定是因为数据存在很大问题,很多脏数据导致分析得不好看,但是做什么,如何去做,做多大的范围,先做什么后做什么,达到什么样的目标,业务部门、技术部门、厂商之间如何配合做等等,很多客户其实并没有想清楚自已真正想解决的问题。于是,数据治理,很难找到一个切入点。

2.数据治理是技术部门的事

很多业务人员认为,数据治理是技术部门的事,但是其实数据产生问题,往往是来自源头,也就是业务人员,业务人员录入数据不规范或者缺失,导致数据产生各种问题,很多表面上的技术问题,如ETL过程中某代号变更导致数据加工出错,影响报表中的数据正确性等,在本质上其实还是业务管理的不规范。

在跟客户沟通交流的时候,会发现很多客户可能不知道数据产生问题的根本原因,只想通过技术去把数据治理好,错误数据治理正确,缺失数据补全,希望通过清洗去将数据治理好,然后分析得美观,但其实我们在治理数据的同时,需要去制订规范,去规范我们的数据,把错误数据扼杀在摇篮里,这样我们在治理数据的同时,能保证后面录入的时候不会再有错误数据,避免进入死循环,这就需要各个部门,技术和业务齐心协力,共同维护数据问题。

3.大而全的数据治理

出于投资回报的考虑,客户往往倾向于做一个覆盖全业务和技术域的、大而全的数据治理项目。从数据的产生,到加工、应用、销毁,数据的整个生命周期他们希望都能管到。从业务系统,到数据中心,到数据应用,里面的每个数据他们希望都能被纳入到数据治理的范围中来。

客户一般想要把数据治理做全,全生命周期的一个管理,从采集,到治理,到清洗,到分析,到销毁,从业务系统,到数据中心,到数据应用,里面的每个数据他们希望都能被纳入到数据治理的范围中来。但其实数据治理很广,想要在一个项目里面把数据治理做全是很难的,具体到实时层面要考虑各个因素,实施周期会比较长,所以会有一期、二期分批地去实现,我们需要引导客户,遵循2/8原则——80%的问题产生于20%的系统和数据——从最核心的系统、最重要的数据、最容易产生问题的地方开始着手做数据治理,进而推广到其他系统,把数据治理做全

对于企业而言,有效的数据治理是必不可少的,当企业在数据方面出现问题,无法为企业高层做分析决策提供数据支撑时,数据治理的启动势在必行,选择合适的时机启动数据治理,是避免决策出现重大失误的有效手段。目前国内能做数据治理的公司有亿信,普元、石竹等,其中亿信做这一块起步较早,已经有成熟的产品和解决方案

亿信华辰自主开发的睿治数据治理平台包含以下功能:

数据治理
元数据:元数据是数据治理的基础,是对数据的描述,可总览分析元数据之间的关系和互相之间的影响。

数据标准:数据标准是对数据进行统一的、规范的定义,确保数据在复杂数据环境中保持一致性、规范性,提高数据管控的效率,完善数据治理体系。

数据质量:数据质量包括对数据质量规则的定义、数据质量检查方案的定义,支持定时自动执行质量检查,自动生成质检报告,监控并揭示数据质量问题,提供问题明细查询和质量改进建议。

数据处理:数据处理主要用于对数据进行清洗、转换、整合、模型管理等处理工作,既可以用于对数据问题进行可行的修正,也可以用于为数据应用提供可靠的数据模型。

主数据:主数据是对需要共享的数据建立的统一管理,为各业务系统数据调用提供黄金数据。

数据资产:数据资产是将全部数据作为资产,进行不同角色的目录化管理,分析数据资产之间的关系,获知资产访问、利用情况等。

数据交换:数据交换用于实现不同机构不同系统之间的数据传输交换,完成基本的数据汇集,确保数据在传输中的完整性、一致性。

数据生命周期:对数据的全生命周期进行管理,主要是根据设置对数据进行自动归档和销毁,对近线数据和离线数据分别管理。

数据安全:数据安全贯穿于数据治理全过程,用于保证数据的安全性,提供对隐私数据的加密、模糊化处理。

睿治平台主要目的是发现并解决数据问题,通过一系列措施规范数据,减少数据问题发生,整体提高数据的应用价值。将实现业务目标作为数据管理和服务的核心驱动力,优化数据架构,提升数据仓库/信息化管理系统建设,支持管理能力的提高、精细化和决策的科学性。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 企业必须使其数据治理程序适应数据爆炸和颠覆性技术的现实

    企业必须使其数据治理程序适应数据爆炸和颠覆性技术的现实

    公司必须使其数据治理计划适应数据爆炸和颠覆性技术的现实 今天的数据爆炸 - 以及所揭示的见解 - 不仅从战略角度对组织非常有价值,而且……查看详情

    发布时间:2018.11.26来源:数据治理浏览量:150次

  • 如何应对数据标准化的难题

    如何应对数据标准化的难题

    数据标准好制定,但是数据标准落地相对就困难多了。国内的数据标准化工作发展了那么多年,各个行业,各个组织都在建设自己的数据标准,但是你很少……查看详情

    发布时间:2019.12.20来源:知乎浏览量:169次

  • 理解和证明数据治理2.0

    理解和证明数据治理2.0

    过去,证明数据治理的合理性是非常困难的。数据治理1.0的孤岛性质以及缺乏对增值的关注意味着买入率很低。……查看详情

    发布时间:2019.01.25来源:亿信华辰浏览量:258次

  • 数据仓库应该怎么建立

    数据仓库应该怎么建立

    现在的社会就是一个数据化的社会,大数据已经成为大家讨论的热门话题了,对于每个企业来说,建立自己的数据仓库已经显得非常重要了,尤其是对于新……查看详情

    发布时间:2019.07.17来源:数据仓库小编浏览量:119次

  • 启动数据治理框架以取得成功

    启动数据治理框架以取得成功

    许多企业坚持不懈地尝试用数据治理框架来证明自己已经取得了很大的成就。然而,定义那些“伟大的东西”绝非易事 - 因为它们中的大多数只构建了……查看详情

    发布时间:2019.02.13来源:数据治理浏览量:168次

  • “数据法治化治理”应平衡安全与发展

    “数据法治化治理”应平衡安全与发展

    数据治理的法治化问题,即对数据治理主体的权利义务的设定及其关系模式之制度安排,应符合法治主义要求。“数据法治化治理”要特别关注合法性。……查看详情

    发布时间:2019.08.02来源:中国人民大学未来法治研究院浏览量:176次

  • 员工数据治理政策:最小化影响,实现价值最大化

    员工数据治理政策:最小化影响,实现价值最大化

    随着越来越多的法规要求和投资者压力促使投资管理公司实施新的安全,治理和合规政策及技术解决方案,公司正在经历由这些实施带来的新业务挑战。……查看详情

    发布时间:2018.12.20来源:亿信华辰浏览量:198次

  • 最全数据治理工具解析:数据治理工具的关键必备功能

    最全数据治理工具解析:数据治理工具的关键必备功能

    ​数据治理工具被定义为帮助创建和维护一组结构化策略、程序和协议的过程的工具,这些策略、程序和协议控制企业数据的存储、使用和管理方式。本文……查看详情

    发布时间:2021.07.22来源:亿信华辰数据治理浏览量:409次

  • 企业数字化转型面临的挑战

    企业数字化转型面临的挑战

    来自调研机构Gartner的预测也显示,到2020年,多数企业将有75%的业务实现数字化或正在数字化。数字化转型已经成为企业发展的必经之……查看详情

    发布时间:2020.04.03来源:知乎浏览量:143次

  • 数据是超乎想象的商业资产 - 这就是为什么(以及在哪里)

    数据是超乎想象的商业资产 - 这就是为什么(以及在哪里)

    说数据是商业资产几乎变得尴尬,应该被视为一个(信息也是如此)。 “数据是资产”或“数据是商业资产”消息并不新鲜。它可以追溯到二十年……查看详情

    发布时间:2018.12.20来源:数据治理浏览量:161次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议