大数据时代地方政府大数据治理战略

发布时间:2019.08.15来源:浏览量:95次标签:数据治理

全球各地的组织正在投资于能够以先前无法想象的方式容纳和处理数据的系统。在某些情况下,企业甚至会根据这些新系统重新构建现有的IT环境。这些大数据系统产生了切实的成果:增加收入和降低成本。然而,积极的结果远未得到保证。要真正从一个人的数据中获取价值,必须对这些新平台进行管理。
数据治理
数据治理一词在许多数据从业者的心中引起了恐惧。由于它经常被模糊地定义和误解,许多人只是转而采用仅限技术的方法来解决他们的治理需求。许多大数据系统带来的复杂性使得这种基于技术的方法特别具有吸引力,尽管众所周知,单靠技术很少就足够了。可能鲜为人知的是,在优化数据治理时,必须重新审视技术本身。

定义数据治理

在我们定义数据治理之前,或许了解哪些数据治理不是很有用。
数据治理不是数据沿袭,管理或主数据管理。这些术语中的每一个通常都与数据治理相结合,甚至代替数据治理。实际上,这些实践是某些组织的数据治理计划的组成部分。它们是重要的组件,但它们仅仅是组件。

数据治理的核心是正式管理整个企业的重要数据,从而确保从中获取价值。虽然成熟度水平因组织而异,但数据治理通常通过人员和流程的组合来实现,其中技术用于简化和自动化流程的各个方面。

以安全为例。即使是基本的治理级别,也需要保护企业的重要敏感数据资产。进程必须防止未经授权访问敏感数据,并将这些数据的全部或部分内容暴露给具有合法“需要知道”的用户。人们必须帮助确定谁应该或不应该访问某些类型的数据。身份管理系统和权限管理功能等技术可简化和自动化这些任务的关键方面。一些数据平台通过绑定到现有的基于用户名/密码的注册表(来进一步简化杂务,并且在分配权限时允许更大的表现力,超出POSIX模式位提供的相对较少的自由度。

我们还应该认识到,随着数据的速度和数量的增加,人类几乎不可能及时对这些数据进行分类。组织有时被迫将新数据锁定在保留单元中,直到有人对其进行适当分类并将其暴露给最终用户。有价值的时间丢失了。幸运的是,技术提供商正在开发创新方法来自动对数据进行分类,无论是直接采集还是之后不久。通过利用这些技术,满足授权过程的关键先决条件,同时最大限度地缩短洞察时间。

大数据时代的数据治理有何不同?
到目前为止,我们大多数人都熟悉大数据的三个特性:
数量:大数据系统中的数据量可达到数PB甚至更多。

多样性:数据不再只是简单的关系格式; 它可以是结构化的,半结构化的,甚至是非结构化的; 数据存储库跨文件,NoSQL表和流。

速度:数据需要从全球各地的设备中快速摄取,包括物联网来源。必须实时分析数据。

管理这些系统可能很复杂。组织通常被迫将单独的集群拼接在一起,每个集群都有自己的业务目的,或者存储和处理独特的数据类型,如文件,表或流。即使仔细地完成拼接本身,也会快速暴露间隙,因为在多个存储库中一致地保护数据集可能极易出错。


融合架构极大地简化了治理。在融合系统中,几种数据类型被集成到单个数据存储库中,可以一次性管理和保护。本身没有拼接,因为整个系统都是从同一块布上剪下来的。

除了三个V之外,还有另一个更微妙的区别。大多数大数据分布包括不同分析和机器学习引擎的合并,这些引擎位于数据存储“顶部”。这种灵活性对最终用户来说非常有用,因为他们可以选择最适合其特定分析需求的工具。从治理的角度来看,问题在于这些工具并不总是遵循相同的安全机制或协议,也不能完全,一致地记录操作,也不能在可扩展的存储库中记录,至少不是开箱即用。

因此,大数据从业者在试图满足合规性或审计师对数据沿袭的要求时可能会陷入困境,数据沿袭旨在回答问题的治理组成部分“这些数据来自何处以及发生了什么随着时间推移呢?“

基于流的数据沿袭体系结构
幸运的是,可以使用更具规范性的方法以及与大数据需求成比例扩展的系统来解决数据沿袭问题。特别是,基于流的体系结构允许组织“发布”在集群内被摄取和转换的数据。然后,消费者可以“订阅”这些数据,并以任何必要的方式填充下游系统。

现在回答基本的血统问题是一件简单的事情,例如“为什么我的结果看起来不对?” 只需使用流来回放并重放事件序列以确定出错的地方。此外,管理员甚至可以从流中重放事件,以便在下游系统损坏或发生故障时重新创建。

这可以说是解决数据沿袭问题的一种更符合法规要求的方法,但必须满足某些条件。特别:

1.流必须是不可变的
2.为所有活动的发布者和订阅者设置权限
3.审计日志设置为记录谁消耗数据以及何时消耗数据
4.流允许全局复制,如果给定站点发生故障,则允许高可用性


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理活跃在企业的方方面面

    数据治理活跃在企业的方方面面

    我们都知道数据治理存在感知问题(温和地说)。真正的数据治理是对任何和所有数据管理活动的控制和支持。但是,数据领导者常常关注控制角度或从技……查看详情

    发布时间:2019.03.13来源:亿信华辰浏览量:84次

  • 数据治理模型 - 组织数据质量管理的责任

    数据治理模型 - 组织数据质量管理的责任

    企业需要数据质量管理(DQM),它结合了业务驱动和技术观点,以应对需要高质量企业数据的战略和运营挑战。迄今为止,公司已将DQM的责任主要……查看详情

    发布时间:2018.12.21来源:数据治理浏览量:158次

  • 数据中台与数据治理的关系:数据中台之数据治理

    数据中台与数据治理的关系:数据中台之数据治理

    结合数据中台开展数据治理,集中资源、目标一致的开展数据治理工作,可以加快数据治理进程、加强数据治理效果,同时通过数据治理优化数据中台的数……查看详情

    发布时间:2021.08.13来源:亿信华辰浏览量:195次

  • 企业数据资产管理应该如何做?

    企业数据资产管理应该如何做?

    定义与提出:国外对“数据资产管理”的定义为:数据资产管理是规划、控制和提供数据及信息资产的一组业务职能,包括开发……查看详情

    发布时间:2020.08.14来源:知乎浏览量:133次

  • 数据治理方案有哪几个步骤?

    数据治理方案有哪几个步骤?

    随着业务发展,公司对数据应用使用场景越来越多,数据也会随着业务快速增长,随之而来,数据质量、数据存储、数据模型建设等使用规范上都会出现一……查看详情

    发布时间:2022.03.15来源:小亿浏览量:689次

  • 为什么我们需要数据仓库

    为什么我们需要数据仓库

    如果直接从业务数据库取数据没有数据仓库时,我们需要直接从业务数据库中取数据来做分析。业务数据库主要是为业务操作服务,虽然可以用于分析,但……查看详情

    发布时间:2019.01.07来源:LongFei浏览量:101次

  • 云端世界数据治理的12步指南

    云端世界数据治理的12步指南

    数据治理是任何大数据战略的关键组成部分。随着公司越来越多地转向数据来影响他们的决策,数据所有者必须了解跨越应用程序,内部部署设施和云的数……查看详情

    发布时间:2018.11.19来源:Joey Jablonski浏览量:120次

  • 业务流程建模与标准操作过程之间的联系

    业务流程建模与标准操作过程之间的联系

    我们上周开始了一个关于业务流程(BP)建模及其在企业中的角色的新博客系列。本周的重点是业务流程建模和标准操作过程之间的联系。具体而言,使……查看详情

    发布时间:2019.02.18来源:亿信华辰浏览量:106次

  • 为什么营销人员应该关心数据治理

    为什么营销人员应该关心数据治理

    如果没有适当的数据治理,您就会面临两个巨大问题的风险:低效率和违反客户信任。有了它,您的业务就是一台信息灵通,运行良好的机器。简而言之,……查看详情

    发布时间:2019.03.15来源:亿信华辰浏览量:112次

  • 数据治理能力正在成为互联网+时代城市竞争新优势

    数据治理能力正在成为互联网+时代城市竞争新优势

    新型智慧城市的四个新视角解读 城市服务要以人为中心,但是城市的服务不但以人为中心,还是要做到数据,由于数据为核心,没有好的数据,就没有……查看详情

    发布时间:2019.01.08来源:亿信华辰浏览量:118次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议