那些关于数据治理的不过时观点

发布时间:2019.08.19来源:CSDN浏览量:116次标签:数据治理

那些关于数据治理的不过时观点

数据不是越多越好
不明白如何消费数据的数据集市建设就是耍流氓
大数据是AI的基础,在应用侧,AI场景更多的是呈点状分布

数据是有成本,数据是有成本的。存储数据是需要成本的,数据的成本绝非只有物理存储空间成本那么简单,实际上它包括了下述五种成本要素:

物理存储器:各种专用或通用的数据存储设备或者分布式存储设备;
人员和软件:为了有效地管理存储而必须配备的人员与软件所投入的资金和努力;
电力和空间:为确保存储系统能正常运行所需要的电力和IDC机房空间的投入;
遍历的时间:为了检索数据而不得不遍历存储空间所耗费的时间;
灾备的成本
为了保证数据安全而进行数据备份所需要的各类资源,数据的成本 = 物理存储器 + 人员和软件 + 电力和空间 + 遍历的时间 + 灾备的成本。

一、数据的成本价值困局

数据对企业的价值并非相同。在许多企业中,时间会减低我们可以从任何特定数据元素中所获得的价值。例如,很多旧数据对建立交易模型用处不大。某个客户与电子商务平台交互的旧记录可能有用,但其价值远不如最新的数据。电话公司几年前的详细通话记录没有最新的通话记录对用户的价值大。三年前的银行交易记录不如最近几个星期的有用。人们可能会偶尔看一下老照片和老视频,但是经常看的还是最近上传的新照片和新视频。虽然我们不能说所有的旧数据都没有新数据价值大,但在大多数的情况下,新数据更有价值是一个事实。

上面的表达方法叫RFM图,R代表数据的产生时间(Recent), F代表数据的使用频率,M代表以货币表达的数据价值(Monetary)。从上面的RFM图可以看出,越是最近产生,越是经常使用的数据其货币价值越高(右后上方的顶点)。相反,产生很久,而且不常使用的数据几乎没有什么货币价值。

如果数据的价值随着时间的推移而降低,那么为什么我们还要保存那么多的数据呢? 我们把这个问题叫作数据的成本价值困局。大多数公司并没有对数据价值随时间的推移逐渐降低和维持高速增长的数据成本这些事实引起高度注重。

通常情况下,更新、更快存储技术的出现使我们能够以更低的初始成本来存储相同数量的数据,或者用相同的成本来存储更多的数据。随着单位存储成本的下降,我们要保存更多数据的愿望也逐渐膨胀。在高速增长的公司,除了要考虑数据的价值很可能会随着时间的推移而降低的事实之外,我们还要考虑虽然单位存储成本下降,但保存数据的总成本极有可能增加的事实。如何对此做出合理的决策对大多数企业提出了独特的新挑战。

准确的价值则取决于最终所选择的方案能够带来的利益。数据选项的价值有限度,为了给这个价值一个界限,我们应该开始回答下述五个问题:

我们过去经常依靠数据做出有价值的决定吗?
在那个决定中,我们使用多久以前的数据?
该数据最终创造的价值是多少?
维护这些旧数据的成本是多少?
平衡成本,最终的结果我们赢利吗?
提出这些问题并不意味着要从系统中删除所有的数据。如果没有一些有意义的数据,平台可能无法运作。确切地说是要指出应该评估和质疑保留数据的策略,以确保所有保存的数据都有价值。如果在过去你没有依靠数据做出更好的决定,那么从明天开始使用所有数据的机会也不会太大。即使你开始使用数据,也不太可能使用所有的数据。因此,应该确定:

哪些数据具有真正的价值?
哪些数据有价值但应该存储在低成本的存储系统?
哪些数据可以删除?
然而,在大多数情况下,数据的价值会随着时间的推移而降低,无限的数据不等同于无穷的价值。两者会有一个平衡点,在该点之后,旧数据的价值开始明显地衰减。因此需要了解数据的价值,把数据在某一年的价值与之前二年、五年的价值进行比较,以此类推,从而确定一个数据不再带来赢利的时间点和额外数据的增加会对保留客户、做出更好决策等等带来的接近于零价值的时间点。

二、大数据时代下的数据治理压力


上图为某运营商从运维压力、管理压力、增值压力等角度进行叙述,如果说的浅显直白一点的话,数据治理最主要的动机来自2方面。

一方面是业务上的困扰
数据标准问题,如数据字段口径不统一、数据研发烟囱式建设,导致重复建设或者数据不同源导致的分析结果不可信。

一方面是技术上的消耗
由于缺乏统一规划和明确分工依赖,烟囱式野蛮生长,存储和计算资源的大量消耗,而其业务价值无法评估收益。

以一贯之的目标驱动
围绕某银行数据平台建设,提供针对数据生命周期的管控机制,体现为以下几个出发点:

数据标准规范化–规范化管理构成数据平台的业务和技术基础设施,包括数据管控制度与流程规范文档、信息项定义等。
数据关系脉络化–实现对数据间流转、依赖关系的影响和血缘分析。
数据质量度量化—全方位管理数据平台的数据质量,实现可定义的数据质量检核和维度分析,以及问题跟踪。
数据服务电子化–为数据平台提供面向业务用户的服务沟通渠道。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 11个顶级数据治理平台

    11个顶级数据治理平台

    虽然许多组织更加重视他们的数据治理计划,但“大多数企业都会在企业数据治理方面遇到困难,而他们最初只关注客户,供应商或产品,”MDM研究所……查看详情

    发布时间:2018.11.16来源:David Weldon浏览量:367次

  • 亿信华辰&东芝|拥抱智能制造,实现生产数据实时采集

    亿信华辰&东芝|拥抱智能制造,实现生产数据实时采集

    在《中国制造2025》战略实施后,“制造业数字化、网络化、智能化”被定义为新工业革命的核心技术。离开生产数据采集,生产管理部门不能及时、……查看详情

    发布时间:2019.05.10来源:亿信华辰浏览量:88次

  • 产生影响:数据治理和企业架构的失落艺术

    产生影响:数据治理和企业架构的失落艺术

    看起来我们忙着跑步,以至于我们没有时间思考。我们希望更快,更快速,但我们甚至不确定我们想要实现的目标。这就像你办公室的人总是太忙,正在工……查看详情

    发布时间:2019.03.22来源:亿信华辰浏览量:87次

  • 谈大数据时代下的数据治理

    谈大数据时代下的数据治理

    2013年被众多的IT人定义为中国的大数据元年,这一年国内的大数据项目开始在交通、电信、金融部门被广泛推动。各大银行对Hadoop的规划……查看详情

    发布时间:2019.01.03来源:亿信华辰浏览量:80次

  • 简明扼要的数据治理指南

    简明扼要的数据治理指南

    数据收集是企业执行的最重要的功能之一。通过获取有关您的客户,员工,财务等的数据,您可以确保轻松,可靠地访问有助于指导主要业务决策的信息。……查看详情

    发布时间:2019.07.04来源:知乎浏览量:81次

  • 企业数字化转型中数据中台建设面临的挑战

    企业数字化转型中数据中台建设面临的挑战

    当前全球经济进入数字化转型时期,数字化转型已成为传统企业必须付诸行动必选题。基于企业业务数字化要求,企业可利用数据中台提供的大数据能力,……查看详情

    发布时间:2020.04.01来源:知乎浏览量:86次

  • 企业级数据治理面临的挑战与对策

    企业级数据治理面临的挑战与对策

    数据治理是社会深度信息化的产物,显示数据正从独占转为共享、从封闭走向开放、从权力变成资源的趋势。目前国内外对其有多种定义,如数据治理是对……查看详情

    发布时间:2019.08.20来源:知乎浏览量:162次

  • 数据治理对企业重不重要?有哪些好处呢?

    数据治理对企业重不重要?有哪些好处呢?

    随着互联网技术的不断发展,人们获取、收集信息的渠道也越来越多样化,各种搜索引擎、通讯工具、社交网站等普及应用,使得数据信息呈迅速增长趋势……查看详情

    发布时间:2019.07.18来源:知乎浏览量:101次

  • 一文说清数据资产

    一文说清数据资产

    为什么说数据是资产何为数据资产,首页我们先了解一下数据到底是什么?按照一般的定义,数据就是数值,是通过我们的观察、实验和计算得出的结果。……查看详情

    发布时间:2020.07.17来源:CSDN浏览量:82次

  • 完善数据治理的制度设计

    完善数据治理的制度设计

    作为最具时代特征、最活跃的生产要素和价值创造来源,“数据”首次出现在《决定》的文本之中。这既反映了经济社会数字化转型不断加快的特征事实,……查看详情

    发布时间:2020.10.31来源:知乎浏览量:84次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议