大数据时代的数据治理

随着Hadoop技术的提升，数据如何进来，如何整合，开展什么样的应用都已经有了成熟的案例，可是，同传统数仓时代一样，垃圾进垃圾出，如何破？相比传统数仓时代，进入Hadoop集群的数据更加的多样、更加的复杂、量更足，这个数仓时代都没有处理好的事情，如何能够在大数据时代处理好，这是所有大数据应用者最最期盼的改变，也是大数据平台建设者最有挑战的难题：数据治理难的不是技术，而是流程，是协同，是管理。

数据治理并不等同于数据管理，而只是数据管理的顶层执行层面。数据管理指规划、控制和提供数据及信息资产，发挥数据和信息资产的价值，强调在企业间或企业内部进行。数据治理是对数据资产管理活动行使权力和控制的活动集合（规划、监控和执行）。数据治理制定正确的原则、政策、流程、操作规程，确保以正确的方式对数据和信息进行管理。

数据资产管理是业务部门和IT部门的共同职责，需要由业务部门和IT部门分别或共同制定相关决策，如业务运营模型、数据治理模型、企业信息模型、业务规范、信息规范、数据库架构、数据仓库/商务智能架构、元数据架构、技术元数据、数据安全管理等。

对于一个企业来说，把数据作为资产，才是建设大数据的最终目的，而不是仅仅是因为Hadoop架构带来性价比和未来的扩展性。当一个企业把数据作为资产，他就像管理自己名下存折、信用卡一样，定期梳理，无时无刻不关心资产的变化情况，关注资产的质量。

而资产目录就是管理资产的形式和手段，他像菜单一样对企业的资产进行梳理、分门别类，提供给使用者；使用者通过菜单，点选自己需要的数据，认可菜单对应的后端处理价值，后厨通过适当的加工，推出相应的数据服务；这是一个标准的流程，而这些流程之上，附着一整套数据管理目标和流程。

大数据平台以数据资产目录为核心，将元数据、数据标准、主数据、数据质量、数据生命周期、数据轮廓等信息在逻辑层面关联起来，在管理层面上整合成统一的整体，构建起数据管理体系，全面的支持数据服务等具体应用。

根据DAMA(国际数据管理协会)的定义，数据治理(Data Governance)是指对数据资产的管理活动行使权力和控制的活动集合(规划、监控和执行)。数据治理是识别、管理和解决几种不同类型数据相关问题的手段，包括数据质量问题、数据命名和定义冲突、数据安全等问题。