如何有效的进行数据治理和数据管控

发布时间:2019.01.03来源:数据改变生活浏览量:2次标签:数据治理

大数据时代的到来,让政府、企业看到了数据资产的价值,并快速开始探索应用场景和商业模式、建设技术平台。但是,如果在大数据拼图中遗忘了数据治理,那么做再多的业务和技术投入也是徒劳的,因为很经典的一句话:Garbage in Garbage out。

当你处理或使用过大量数据,那么对“数据治理”这个词你一定不会陌生。你会思考数据治理是什么?数据治理是否适合你?如何实施。简单来说,数据治理就是处理数据的策略——如何收集、验证、存储、访问、保护和使用数据。数据治理也还包括谁来查看,使用,共享你的数据。

随着大数据时代的推进,以上这些问题日益突出,越来越多的企业依赖采集、治理、储存和分析数据,并实现他们的商业目标。数据变成了企业的盈利工具、业务媒介和商业机密。数据泄露会导致法律纠纷,还会令消费者对公司的核心业务失去信心。

如果抱着侥幸的心理,让各个业务部门自己管理数据,那么你会缺乏有效的数据管理,甚至各部门会自己做自己的。你无法想象各个部门按随心所欲地自己生产、储存、销售产品。数据使用不当就像库存使用不当一样,会给企业造成沉重的损失。因此必须制定一项测量用以保证所需数据的有效和安全,可用性,这就是我们要谈的“数据治理”。

数据治理的特点

数据治理策略必须包含完整的数据生命周期。策略必须包含从数据采集、清洗到管理,在这个生命周期内,数据治理必须要有关注以下内容:

数据从哪里来,数据怎么来

这是数据生命周期的起点。数据来源决定了数据治理策略的基础。例如数据集的大小就由数据来源所决定。是从目标市场、现存用户和社交媒体收集数据?还是使用第三方收集数据或者分析你收集的数据?输入数据流是什么?数据治理必须关注这些问题,并制定策略来管理数据的采集,引导第三方处理他们收集的数据或者分析你收集的数据,控制数据的路径和生命周期。

数据校验

通常数据源都是非常庞大且多样的,这是一个让数据管理者非常头疼的问题。将数据噪音和重要数据进行区分仅仅只是开始,如果你正从关联公司收集数据,你必须确保数据是可靠的,对于那些几万、几十万、甚至成百上千万的复杂关系数据,单靠人为的通过Excel对进行数据清洗已经不太现实,需要专业的数据清洗工具或系统对海量复杂关系数据进行批量查询、替换、纠正、丰富以及存储。将元数据、主数据、交易数据、参考数据以及数据标准内置固化到数据清洗工具或系统中,结合组织架构、内容管控、过程管控等管理机制、技术标准提高数据治理人员的工作效率。比如:需要手工编写程序收集的元数据,系统帮你自动获取;需要人工识别或编写代码实现的数据质量检查,系统帮你自动识别问题;用文档管理的数据字典,系统帮你在线管理;基于邮件和线下的流程,系统帮你线上自动化。当然,系统并不是万能的,数据治理的软件工具与其他软件工具一样,没有什么神奇之处,没有数据治理人员的参与和数据治理工作的推进,软件再完美也无法完成数据治理整个过程。这也是为什么数据治理咨询服务一直有其市场,以及为什么国内大部分单纯数据治理软件项目未能达到预期目标。

数据治理必须解决存储问题

而数据存储和数据集的大小有密切关系。大数据的存储必须是在安全的冗余系统之中。常常利用层次体系,根据使用频率来存储数据。这样一来,昂贵的在线系统提供的是被频繁请求的数据,而请求频率较低的数据则存储在便宜,可用率较低的系统上。当然,一些请求频率低但是敏感的数据如果存储于安全性较低的系统上,风险会大大提升。因此,在制定数据存储方案时,良好的数据治理策略必须考虑到方方面面的因素。

数据治理必须建立访问管理制度,在需求和安全性找到平衡点

明确访问者的权限,只能访问他们对应权限包含的数据。只有合法请求才能够访问数据,而敏感的数据需要更高的权限和更严密的验证才可以被访问。只向具有特定安全级别的用户开放。应该对用户和数据本身设置访问级别,管理账户时,应与人力资源部和采购部紧密互动,这一点非常重要,因为这样可以及时地使离职员工和停止合作的供应商不再拥有访问权限。处理好这些细节以及确保数据所有权和责任,这是构成完整的数据治理策略的一部分。

数据的使用/共享/分析

如何使用数据是数据治理之后一项重要的内容,数据可能会用于客户管理,提高客户体验,投放定向广告,用户应用系统初始化基础数据工作,辅助应用系统建设,提供市场分析和关联公司共享数据。必须仔细界定哪些数据可用于共享或者用于营销,并保护它们免遭攻击和泄露,因为数据本来就应该被用于纯粹的内部用途。让用户知悉采集数据的所有公司都会遵守数据安全和保证的规定。能够确保数据被合理合规的使用,也是数据治理重要的一项内容。

收集、验证、存储、访问和使用都是数据安全计划的必要组成部分

收集、验证、存储、访问和使用都是数据安全计划的必要组成部分,必须要有一个全面的策略来解决这些问题以及其他安全问题。数据安全计划必须是有效且可用性高,但是数据生命周期的所有部分都很容易受到攻击和由于粗心造成的破坏。你必须在数据治理中确定数据安全计划,包括访问控制,静态数据,数据加工,数据传输之后的加密等。

管理/元数据

没有管理的数据生命周期是不完整的。例如,将元数据应用于一段数据,用来进行识别检索。元数据包含数据的来源,采集或生成的日期,信息访问的级别,语义分类及其他企业所必须的信息。数据治理能建立一个元数据词汇表,界定数据的有效期。请注意数据也会过期,过期之后我们只能用于历史数据的分析。

数据治理的企业问题

数据治理创建的过程中可能会在企业内部遭到一些阻力,比如有的人会害怕失去访问数据的权限,而有些人也不愿意和竞争者共享数据。数据治理政策需要解决上述问题,让各方面的人都可接受。习惯了数据筒仓环境的公司,在适应新的数据治理策略上面会有困难,但如今对大型数据集的依赖以及随之而来的诸多安全问题,使创建和实施覆盖全公司的数据策略成为一种必然。

数据日益成为企业基础设施的一部分,在企业一步步处理各种特定情况的过程中形成决策。它以一次性的方式作出,常常是对某一特定问题的回应。因此,企业处理数据的方法会因为不同部门而改变,甚至会因为部门内部的不同情况而改变。即使每个部门已经有一套合理的数据处理方案,但这些方案可能彼此冲突,企业将不得不想办法协调。弄清数据存储的要求和需求是一件难事,如果做得不好,就无法发挥数据在营销和客户维系方面的潜力,而如果发生数据泄露,你还要承担法律责任。

另外在大企业内部,部门之间会展开对数据资源的争夺,各部门只关注自身的业务情况,缺乏全局观念,很难在没有调解的情况下达成妥协。

因此公司需要一个类似数据治理委员会的机构,他的职责是执行现有数据策略、挖掘未被满足的需求以及潜在安全问题等,创建数据治理策略,使数据的采集、管护、储存、访问以及使用策略均实现标准化,同时还会考虑各个部门和岗位的不同需求。平衡不同部门之间存在冲突的需求,在安全性与访问需求之间进行协调,确保最高效、最安全的数据管理策略。

成功的数据治理步骤

建立数据治理委员会

负责评估各个数据用户的需求,建立覆盖全公司的数据管理策略,满足内部用户、外部用户甚至法律方面的各种需求。该委员会的成员应该囊括各个业务领域的利益相关者,确保各方需求都得到较好地满足,所有类型的数据所有权均得到体现。委员会也需要有数据安全专家,数据安全也是重要的一环。了解数据治理委员会的目标是什么,这一点很重要,因此,应该思考企业需要数据治理策略的原因,并清楚地加以说明。

制定数据治理的框架

这个框架要将企业内部、外部、甚至是法律层面的数据需求都纳入其中。框架内的各个部分要能够融合成一个整体,满足收集、清洗、存储、检索和安全要求。为此,企业必须清楚说明其端到端数据策略,以便设计一个能够满足所有需求和必要操作的框架。

有计划地把各个部分结合起来,彼此支持,这有很多好处,比如在高度安全的环境中执行检索要求。合规性也需要专门的设计,成为框架的一部分,这样就可以追踪和报告监管问题。这个框架还包括日常记录和其他安全措施,能够对攻击发出早期预警。在使用数据前,对其进行验证,这也是框架的一部分。数据治理委员会应该了解框架的每个部分,明确其用途,以及它如何在数据的整个生命周期中发挥作用。

数据测试策略

通常一个数据策略需要在小规模的商用环境中进行测试,用来发现数据策略在框架,结构和计划上的不足之处并进行调整,之后才能够投入正式使用。

数据治理策略要与时俱进

随着数据治理策略延伸到新的业务领域,肯定需要对策略进行调整。而且,随着技术的发展,数据策略也应该发展,与安全形势、数据分析方法以及数据管理工具等保持同步。

明确什么是成功的数据策略

我们需要确立衡量数据治理是否成功的明确标准,以便衡量进展。制定数据管理目标,有助于确定成功的重要指标,进而确保数据治理策略的方向是符合企业需求。

总结

无论企业大小,在使用数据上都面临相似的数据挑战。企业越大,数据越多,而数据越多,越发需要制定一个有效的,正式的数据治理策略。规模较小的企业也许只需要非正式的数据治理策略就足够了,但这只限于那些规模很小且对数据依赖度很低的公司。即便是非正式的数据治理计划也需要尽可能考虑数据用户和员工数据的采集、验证、访问、存储。

当企业规模扩大,数据需求跨越多个部门时,当数据系统和数据集太大,难以驾驭时,当业务发展需要企业级的策略时,或者当法律或监管提出需求时,就必须制定更为正式的数据治理策略。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 物联网中的安全与数据治理到底怎么做?

    物联网中的安全与数据治理到底怎么做?

    如果企业和公共部门机构要启动成功的物联网项目,确保物联网系统和智能设备的用户保持安全,这要求他们的数据受到保护和谨慎管理至关重要。用户的……查看详情

    发布时间:2019.06.21来源:知乎浏览量:4次

  • 数据治理工具那么多,如何选择适合自己企业的呢?

    数据治理工具那么多,如何选择适合自己企业的呢?

    随着互联网技术的不断发展,人们获取、收集信息的渠道也越来越多样化,各种搜索引擎、通讯工具、社交网站等普及应用,使得数据信息呈迅速增长趋势……查看详情

    发布时间:2019.07.17来源:知乎浏览量:3次

  • 数据治理:推动结果的引擎

    数据治理:推动结果的引擎

    组织成功取决于某些与共同业务目标一致的构建块。这些构建块包括业务活动,数据和分析。……查看详情

    发布时间:2019.01.26来源:亿信华辰浏览量:2次

  • 数据问题的全面解决之道——数据治理

    数据问题的全面解决之道——数据治理

    当今的大型企业,内部分工日趋细化,采购、服务、市场、销售、开发、支持、物流、财务、人力等各个环节,无不每时每刻产生着大量的数据。……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:2次

  • 数据标准在数据资产管理中的意义

    数据标准在数据资产管理中的意义

    随着大数据的持续升温,数据资产管理近年来成为政府和企业领导层特别关注的领域。在谈数据的价值之前,必须先说清楚所谈论的数据资产都有那些,都……查看详情

    发布时间:2019.12.19来源:知乎浏览量:3次

  • 数据治理这项服务

    数据治理这项服务

    我们将再次讨论对有形资产和无形资产进行估值的讨论。……查看详情

    发布时间:2019.01.16来源:亿信华辰浏览量:1次

  • 数据质量监控步骤及方法

    数据质量监控步骤及方法

    随着大数据时代的带来,数据的应用也日趋繁茂,越来越多的应用和服务都基于数据而建立,数据的重要性不言而喻。而且,数据质量是数据分析和数据挖……查看详情

    发布时间:2020.08.31来源:CSDN浏览量:1次

  • 敏捷方法如何帮助解决您的数据问题

    敏捷方法如何帮助解决您的数据问题

    无论哪种方式,您都必须像软件开发人员一样思考,并确保您拥有正确的思维方式,技能组合和工具集,以保持数据掌握的灵活性。……查看详情

    发布时间:2019.02.27来源:亿信华辰浏览量:3次

  • 数据治理需要关注什么?

    数据治理需要关注什么?

    确保企业数据的质量,可用性,可集成性,安全性和易用性。数据是公司的资产,组织必须从中获取业务价值,最大程度地降低风险并寻求方法进一步开发……查看详情

    发布时间:2020.10.31来源:知乎浏览量:4次

  • 2021公安数据治理的目标

    2021公安数据治理的目标

    公安数据治理的目标是实现全局数据资源的有效整合,有效解决公安力量分散、资源分割、信息孤岛、运行封闭等问题,最终打破部门壁垒和警种壁垒。……查看详情

    发布时间:2021.04.29来源:亿信数据治理知识库浏览量:4次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议