四说大数据时代“神话”:从大数据到深数据

发布时间:2019.02.14来源:亿信华辰浏览量:477次标签:数据治理

作为国内最大的电商平台之一,苏宁每天要处理数量巨大的数据。为了更快速高效地处理这些数据,苏宁调度平台采取了哪些措施呢?

在机器学习领域一直有一个基础性的误解,即更大的数据会产生更好的学习效果。然而,更大的数据并不一定意味着能发现更深刻的信息。实际上,与数据的规模相比,数据的质量、价值和多样性更值得关注,即数据的“深度”重于“广度”。本文从四个角度思考了大数据时代的问题并提出了一些建议的做法以改善这些问题。

最近一段时间,对大数据的炒作正在减弱。云计算,Hadoop 及其他类似的工具已经有效地解决了大数据的处理问题。但是,仍有大部分人愿意在基础设施上加大投资力度,以期望处理、保存和组织这些大型数据库。一味的地追求“大”,会在基础设施和人力资源方面产生一定程度上的不必要成本。

而现在,是时候将热点从“大数据”改为“深数据”了。如今,我们对待数据应当更加深思熟虑,而不是不加筛选地收集所有可获得的数据来实现“大数据”。我们现在需要让一些数据落实到位,并寻求数量和质量的多样性。这一举措将带来许多长期利益。

四种大数据神话

要理解从“大”到“深”的这种转变,首先让我们看一下对大数据的一些错误观念。以下是一些严重夸大的大数据神话:

所有数据都可以并且应当被捕获和存储。

更多的数据总是有助于建立更准确的预测模型。

储存更多数据的成本几乎为零。

计算更多数据的成本几乎为零。

然而:

来自物联网和网络流量的数据显然超过了我们的捕获能力。很多数据都需要在获取时进行预处理以便储存和管理。我们需要依照其价值对数据进行分类与筛选。

重复使用一千次相同的数据进行训练并不会提高预测模型的准确性。

存储更多数据的成本不仅仅是亚马逊网络服务向您收取的以 TB 计费的美元。同时也包括系统在查找和管理多个数据源的额外复杂性,以及员工移动和使用该数据的“虚拟重量”。这些成本通常高于存储和计算费用。

人工智能算法对计算资源的需求会快速超越弹性云基础设施所能提供的算力。在没有专业的管理策略的情况下,计算资源会呈线性增长,而计算需求则会出现超线性增长,甚至指数级增长。

如果轻信了这些神话,你所构建的信息系统可能看起来会像是纸上谈兵,或从长期角度看起来很好,但在即时性的框架中实现起来则是复杂且低效的。

四种大数据问题

以下是在数据方面盲目相信“越多越好”会导致的四个问题:

重复的数据对模型无益。在为 AI 构建机器学习模型时,训练样本的多样性至关重要。原因是模型试图确定概念边界。例如,如果您的模型试图通过年龄和职业来定义“退休工人”的概念,那么像“32 岁的注册会计师”这样的重复样本对该模型并没有什么价值,因为这些人大都没有退休。在 65 岁的概念边界中获得样本并了解退休如何随职业而变化则更具有价值。

低质量数据会对模型有害。在 AI 试图学习两个概念之间边界的过程中,如果新数据是不精确的,或存在错误,那么它会混淆这个边界。在这种情况下,更多数据无济于事,并且还有可能会降低现有模型的准确性。

大数据增加了时间成本。对于不同学习算法,在 TB 级的数据上构建模型可能会比在数 GB 的数据上构建模型多花费约千倍、甚至万倍的时间。数据科学本就是快速实验,虽不完美却轻量的模型更具有前景。数据科学一旦失去了速度,则失去了未来。

大数据环境下易于实现的模型。任何预测模型的最终目的都是创建一个可用于商业部署的高度准确的模型。有时使用来自数据库深处阴暗面的模糊数据可能会产生更高的准确性,但所使用的数据对于实际部署可能是有风险的。使用一个不太准确却可以快速部署和运行的模型往往更好。

四种更好的措施

您可以采取一些措施来对抗大数据的“阴暗面”并转为深度数据思维:

学会在准确性和执行性之前权衡。数据科学家普遍喜欢将目标定为更准确的模型。实际上,你应当根据准确性和部署速度,计算合理的 ROI 期望,然后再开始你的项目。

使用随机样本构建每个模型。如果你已经获得了大数据,那么没有理由不使用它。如果可以使用好的随机抽样方法,那么你可以先使用小样本建立模型,然后在整个数据库上进行训练和调试以获得更准确的预测模型。

丢弃一些数据。如果您对来自物联网设备和其他来源的流数据感到不知所措,请抛弃一些数据,不要有太大的负担。如果你无法购买足够的磁盘来存储多余的数据,它会破坏你在数据科学生产线后期的所有工作。

寻找更多数据源。人工智能最近的许多突破并不是因为更大的数据集,而是能够将机器学习算法成功的运用于这些数据,这在之前是无法实现的。例如,如今普遍存在的大型文本,图像,视频和音频数据集在二十年前并不存在。你应当不断寻找新的数据以找到更好的机会。

四种得到的改善

如果您专注于深度数据而不仅仅是数据的广度,您将享受到许多好处。以下是一些关键问题:

一切都会更快。使用较小的数据,您的数据迁移、实验、训练和模型测试都会快得多。

更少的存储和计算需求。专注于深度数据意味着您将更加智能地使用更小的磁盘以及云平台占用空间。这将为你节省一笔可观的基础设施成本,用你节省的资金聘请更多数据科学家和 AI 专家吧!

低压的 IT 人员和更高幸福感的数据科学家。凭借深厚的数据文化,您的 IT 团队将不会愿意听从数据科学家的意见行事,或者不得不终止所有因沉浸于云资源而失控的作业。同样,当数据科学家花费更多时间构建和测试模型,而不是将这些时间消耗在迁移数据或等待长时间的训练过程时,他们会更加高兴。

更难的问题可以解决。构建 AI 模型并不是一种神奇的体验,只能由类似巫师的研究人员执行。事实上,逻辑远比魔术更重要。这类似于一位艺术老师的故事,他告诉半个班级,他们的成绩将取决于他们制作的艺术品的数量,另一半的成绩将根据他们最好的作品的质量进行评分。很多学生都创造了大量的艺术品,并且令人震惊的是,这些艺术品的质量也都不差。数量和质量很多时候并不矛盾。这则例子是想说明:在相同资源约束下尝试的更多模型可能意味着可以获得质量更高的模型。

许多公司的决策过程都在逐渐转变为数据驱动的方式,这与大数据及其技术方面的突破密不可分。随着人工智能的兴起以及对这些强大资源的处理能力的饱和,我们现在需要更加精确地根据我们的数据需求建立一种理解深度数据而不仅仅是广度数据的文化。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 数据标准迎来“大考”,一个数据治理工具教各行各业轻松应对

    数据标准迎来“大考”,一个数据治理工具教各行各业轻松应对

    2020年6月22日-7月3日,国际电信联盟第十六研究组(简称ITU-TSG16)召开全体会议,来自中国、美国、德国、日本、韩国、巴西、……查看详情

    发布时间:2020.07.23来源:头条浏览量:487次

  • 值得关注的 5 大数据治理工具

    值得关注的 5 大数据治理工具

    一旦数据治理策略的广泛目标最终确定,您就需要开始寻找适合您的框架和数据操作的数据治理工具。让我们来看看一些关键的数据治理工具以及它们如何……查看详情

    发布时间:2021.08.10来源:亿信数据治理知识库浏览量:899次

  • 数据信任是智能城市数据治理的一部分吗?

    数据信任是智能城市数据治理的一部分吗?

    鉴于最近的丑闻,城市别无选择,只能紧急关注数据治理问题。数据信任可以成为解决方案的一部分吗?……查看详情

    发布时间:2019.03.25来源:亿信华辰浏览量:498次

  • 管理数据与拥有数据一样重要:关注数据治理和数据质量

    管理数据与拥有数据一样重要:关注数据治理和数据质量

    在许多人看来,数据 - 干净,清晰和准确的数据 - 统治着宇宙。然而,当数据质量较差时,企业及其客户都会受到影响。即使数据是原始数据,糟……查看详情

    发布时间:2019.09.20来源:知乎浏览量:522次

  • 如何获得各部门系统的数据?

    如何获得各部门系统的数据?

    不少学校在开展数据治理的时候,会遇到部门数据共享的问题。一方面,一些部门不愿意分享所管理的数据,比如,认为拥有某些数据是特权,或担心数据……查看详情

    发布时间:2020.10.31来源:知乎浏览量:534次

  • 数据治理委员会:指导原则

    数据治理委员会:指导原则

    数据所有权 指定义与特定数据集相关的各种责任级别。讨论谁负责特定的数据任务已经使我们机构的数据维护和准确性变得更加简单。……查看详情

    发布时间:2018.11.23来源:数据治理浏览量:433次

  • 如何有效的进行数据交换管理

    如何有效的进行数据交换管理

    在现代信息社会,政府、企事业单位相继建立了各自的信息管理系统,这些独立的系统创建之初没有统一的规划,彼此之间数据的存储环境和存储形式差异……查看详情

    发布时间:2020.04.23来源:知乎浏览量:493次

  • 数字化时代的大数据治理应该怎么做呢?

    数字化时代的大数据治理应该怎么做呢?

    随着时代的发展,各个企业收集数据的渠道越来越多样化,也有越来越多的企业开始应用大数据来创造价值,为了合理有效的挖掘数据资源来源的价值,首……查看详情

    发布时间:2019.07.18来源:知乎浏览量:413次

  • 十大治理清单

    十大治理清单

    每年公司治理都会随着时代和投资者的需求而变化。今年,您的董事会应该关注几个趋势,以便始终领先于变革。……查看详情

    发布时间:2019.03.13来源:亿信华辰浏览量:426次

  • 大数据资产管理总体框架概述

    大数据资产管理总体框架概述

    随着大数据时代的来临,对数据的重视提到了前所未有的高度,“数据即资产”已经被广泛认可。数据就像企业的根基,是各企业尚待发掘的财富,即将被……查看详情

    发布时间:2019.02.21来源:知乎浏览量:1126次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议