大数据时代的数据治理

发布时间:2020.03.19来源:知乎浏览量:5次标签:数据治理

随着Hadoop技术的提升,数据如何进来,如何整合,开展什么样的应用都已经有了成熟的案例,可是,同传统数仓时代一样,垃圾进垃圾出,如何破?相比传统数仓时代,进入Hadoop集群的数据更加的多样、更加的复杂、量更足,这个数仓时代都没有处理好的事情,如何能够在大数据时代处理好,这是所有大数据应用者最最期盼的改变,也是大数据平台建设者最有挑战的难题:数据治理难的不是技术,而是流程,是协同,是管理。

数据治理并不等同于数据管理,而只是数据管理的顶层执行层面。数据管理指规划、控制和提供数据及信息资产,发挥数据和信息资产的价值,强调在企业间或企业内部进行。数据治理是对数据资产管理活动行使权力和控制的活动集合(规划、监控和执行)。数据治理制定正确的原则、政策、流程、操作规程,确保以正确的方式对数据和信息进行管理。

数据资产管理是业务部门和IT部门的共同职责,需要由业务部门和IT部门分别或共同制定相关决策,如业务运营模型、数据治理模型、企业信息模型、业务规范、信息规范、数据库架构、数据仓库/商务智能架构、元数据架构、技术元数据、数据安全管理等。

对于一个企业来说,把数据作为资产,才是建设大数据的最终目的,而不是仅仅是因为Hadoop架构带来性价比和未来的扩展性。当一个企业把数据作为资产,他就像管理自己名下存折、信用卡一样,定期梳理,无时无刻不关心资产的变化情况,关注资产的质量。

而资产目录就是管理资产的形式和手段,他像菜单一样对企业的资产进行梳理、分门别类,提供给使用者;使用者通过菜单,点选自己需要的数据,认可菜单对应的后端处理价值,后厨通过适当的加工,推出相应的数据服务;这是一个标准的流程,而这些流程之上,附着一整套数据管理目标和流程。

大数据平台以数据资产目录为核心,将元数据、数据标准、主数据、数据质量、数据生命周期、数据轮廓等信息在逻辑层面关联起来,在管理层面上整合成统一的整体,构建起数据管理体系,全面的支持数据服务等具体应用。

根据DAMA(国际数据管理协会)的定义,数据治理(Data Governance)是指对数据资产的管理活动行使权力和控制的活动集合(规划、监控和执行)。数据治理是识别、管理和解决几种不同类型数据相关问题的手段,包括数据质量问题、数据命名和定义冲突、数据安全等问题。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 快速理解数据仓库、数据湖、数据工厂、数据中台

    快速理解数据仓库、数据湖、数据工厂、数据中台

    数据生产的整个链条中,对于如何筑湖、如何选址建厂、按什么工序加工、以及如何配送,这是技术部门的事情,而“数据半成品”的沉淀和积累,却不是……查看详情

    发布时间:2021.04.13来源:亿信数据治理知识库浏览量:16次

  • 十大治理清单

    十大治理清单

    每年公司治理都会随着时代和投资者的需求而变化。今年,您的董事会应该关注几个趋势,以便始终领先于变革。……查看详情

    发布时间:2019.03.13来源:亿信华辰浏览量:5次

  • 数据治理需要关注什么?

    数据治理需要关注什么?

    确保企业数据的质量,可用性,可集成性,安全性和易用性。数据是公司的资产,组织必须从中获取业务价值,最大程度地降低风险并寻求方法进一步开发……查看详情

    发布时间:2020.10.31来源:知乎浏览量:15次

  • 定义DG:数据治理可以为您做什么?

    定义DG:数据治理可以为您做什么?

    由于数据驱动的业务,数据治理(DG)变得越来越普遍,但是对于许多组织来说,定义DG并进行合理的实践仍然很困难。……查看详情

    发布时间:2019.01.21来源:亿信华辰浏览量:11次

  • 企业数据标准管理系统应该这样做!

    企业数据标准管理系统应该这样做!

    提到“标准”二字,我们第一时间能够想到的就是一系列的标准化文档,例如:产品设计标准、生产标准、质量检验标准、库房……查看详情

    发布时间:2020.08.31来源:CSDN浏览量:12次

  • 用于指导金融行业开展大数据基础平台建设技术类标准

    用于指导金融行业开展大数据基础平台建设技术类标准

    技术类标准用于指导金融行业开展大数据基础平台建设。大数据技术本身涉及内容广泛,既包含大数据平台本身的基础软件和各类功能组件,又包括基于业……查看详情

    发布时间:2019.12.27来源:CSDN浏览量:5次

  • 主数据管理第一步——识别主数据

    主数据管理第一步——识别主数据

    主数据管理的目的就是为了确保企业核心数据的准确性、一致性、稳定性,打破数据孤岛,帮助企业高效运转。然而在茫茫数据大海中识别出主数据是一项……查看详情

    发布时间:2019.10.24来源:亿信华辰浏览量:4次

  • 大数据如何成为了驱动社会治理的创新转向?

    大数据如何成为了驱动社会治理的创新转向?

    大数据、智能化、移动互联、云计算成为了驱动经济发展和社会转型的重要力量,“用数据说话、用数据决策、用数据管理、用数据创新”成为了公共管理……查看详情

    发布时间:2018.09.30来源:中新界面浏览量:4次

  • 数据治理,更依赖人治还是自治?

    数据治理,更依赖人治还是自治?

    数据治理“自治”包含两层含义:自动化治理和自助化治理。数据中台,是能力的下沉,数据处理能力下沉为加工平台,数据处理结果下沉为数据资产。那……查看详情

    发布时间:2019.11.18来源:知乎浏览量:4次

  • 大数据时代的企业都有那些数据质量问题

    大数据时代的企业都有那些数据质量问题

    企业要想充发挥大数据的作用,就要保证数据的可靠、及时、准确,只有从高质量的数中提取出来的有用信息,企业才可以做出更精准的决策,才能更了解……查看详情

    发布时间:2019.09.27来源:数据分析网浏览量:5次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议