大数据时代的数据治理

发布时间:2020.03.19来源:知乎浏览量:73次标签:数据治理

随着Hadoop技术的提升,数据如何进来,如何整合,开展什么样的应用都已经有了成熟的案例,可是,同传统数仓时代一样,垃圾进垃圾出,如何破?相比传统数仓时代,进入Hadoop集群的数据更加的多样、更加的复杂、量更足,这个数仓时代都没有处理好的事情,如何能够在大数据时代处理好,这是所有大数据应用者最最期盼的改变,也是大数据平台建设者最有挑战的难题:数据治理难的不是技术,而是流程,是协同,是管理。

数据治理并不等同于数据管理,而只是数据管理的顶层执行层面。数据管理指规划、控制和提供数据及信息资产,发挥数据和信息资产的价值,强调在企业间或企业内部进行。数据治理是对数据资产管理活动行使权力和控制的活动集合(规划、监控和执行)。数据治理制定正确的原则、政策、流程、操作规程,确保以正确的方式对数据和信息进行管理。

数据资产管理是业务部门和IT部门的共同职责,需要由业务部门和IT部门分别或共同制定相关决策,如业务运营模型、数据治理模型、企业信息模型、业务规范、信息规范、数据库架构、数据仓库/商务智能架构、元数据架构、技术元数据、数据安全管理等。

对于一个企业来说,把数据作为资产,才是建设大数据的最终目的,而不是仅仅是因为Hadoop架构带来性价比和未来的扩展性。当一个企业把数据作为资产,他就像管理自己名下存折、信用卡一样,定期梳理,无时无刻不关心资产的变化情况,关注资产的质量。

而资产目录就是管理资产的形式和手段,他像菜单一样对企业的资产进行梳理、分门别类,提供给使用者;使用者通过菜单,点选自己需要的数据,认可菜单对应的后端处理价值,后厨通过适当的加工,推出相应的数据服务;这是一个标准的流程,而这些流程之上,附着一整套数据管理目标和流程。

大数据平台以数据资产目录为核心,将元数据、数据标准、主数据、数据质量、数据生命周期、数据轮廓等信息在逻辑层面关联起来,在管理层面上整合成统一的整体,构建起数据管理体系,全面的支持数据服务等具体应用。

根据DAMA(国际数据管理协会)的定义,数据治理(Data Governance)是指对数据资产的管理活动行使权力和控制的活动集合(规划、监控和执行)。数据治理是识别、管理和解决几种不同类型数据相关问题的手段,包括数据质量问题、数据命名和定义冲突、数据安全等问题。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 元数据管理101:什么,为什么以及如何

    元数据管理101:什么,为什么以及如何

    元数据管理已逐渐成为成功的数字化计划战略的最重要实践之一。随着大数据和云等分布式体系结构的兴起,可以创建孤立的系统和数据,元数据管理对于……查看详情

    发布时间:2018.12.19来源:数据治理浏览量:65次

  • 政府如何进行数据治理

    政府如何进行数据治理

    政府掌握全社会重要核心的、高价值的数据,如何通过有效管理,进行共享开放与协同,释放背后价值,赋能管理、服务决策,推动治理能力的提升对于我……查看详情

    发布时间:2021.08.30来源:亿信华辰浏览量:136次

  • 你认为你知道什么是数据治理吗?

    你认为你知道什么是数据治理吗?

    数据治理是当今一个相对较新且非常热门的话题。因此,毫不奇怪,对数据治理的定义有多种不同的定义。大多数这些定义都是自我服务……查看详情

    发布时间:2018.11.19来源:丹尼尔舒勒浏览量:69次

  • 赢得数据治理的五个秘诀

    赢得数据治理的五个秘诀

    到目前为止,您已经意识到拥有出色的数据分析策略还需要拥有良好的数据治理策略。毕竟,如果您的数据无法控制,那么您在其上运行的分析在一天结束……查看详情

    发布时间:2019.02.27来源:亿信华辰浏览量:66次

  • 企业如何开展数据治理项目

    企业如何开展数据治理项目

    从大的阶段来看,数据治理主要分为存量数据“由乱到治”的阶段,以及增量数据严格按照规章制度实施确保“行不逾矩”的运营阶段。在“由乱到治”的……查看详情

    发布时间:2020.06.30来源:知乎浏览量:69次

  • 数据治理和数据管理推动成功的词汇表和词典

    数据治理和数据管理推动成功的词汇表和词典

    任何数据管理员的噩梦都是运行会议,创建迂腐和无关的业务词汇表或数据词典,最终收集网络粉尘。但是,跳过构建和维护良好的业务术语表或数据字典……查看详情

    发布时间:2018.12.27来源:亿信华辰浏览量:98次

  • 元数据管理流程和方法是怎样的

    元数据管理流程和方法是怎样的

    大数据环境中,如果企业不通过元数据管理把多种复杂的信息管理起来,很难做到信息的有效利用。Gartner在研究报告里明确指出,“元数据管理……查看详情

    发布时间:2022.03.21来源:小亿浏览量:428次

  • 全国人大代表张近东:对数据管理运用要在政府监管下进行

    全国人大代表张近东:对数据管理运用要在政府监管下进行

    数据隐私保护成为近些年两会的热词之一。全国人大代表、苏宁控股集团董事长张近东今年两会带来了5份建议,涉及数字经济、促进消费、乡村振兴及物……查看详情

    发布时间:2019.03.05来源:数据管理浏览量:69次

  • 重构数据治理的必要性

    重构数据治理的必要性

    拥有管理良好的数据资产并不能确切的保证你的生产业务价值。所以你就需要必备跨不同组件和活动的整体视图。那么这个时候数据治理就显得尤为重要。……查看详情

    发布时间:2018.11.14来源:马克·皮科浏览量:90次

  • 数据治理的重点领域:关注管理层调整

    数据治理的重点领域:关注管理层调整

    当管理者发现由于其对运营或合规工作的潜在影响而难以做出“常规”数据相关的管理决策时,这种类型的程序通常会存在。……查看详情

    发布时间:2019.03.19来源:亿信华辰浏览量:77次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议