四说大数据时代“神话”:从大数据到深数据

发布时间:2019.02.14来源:亿信华辰浏览量:4次标签:数据治理

作为国内最大的电商平台之一,苏宁每天要处理数量巨大的数据。为了更快速高效地处理这些数据,苏宁调度平台采取了哪些措施呢?

在机器学习领域一直有一个基础性的误解,即更大的数据会产生更好的学习效果。然而,更大的数据并不一定意味着能发现更深刻的信息。实际上,与数据的规模相比,数据的质量、价值和多样性更值得关注,即数据的“深度”重于“广度”。本文从四个角度思考了大数据时代的问题并提出了一些建议的做法以改善这些问题。

最近一段时间,对大数据的炒作正在减弱。云计算,Hadoop 及其他类似的工具已经有效地解决了大数据的处理问题。但是,仍有大部分人愿意在基础设施上加大投资力度,以期望处理、保存和组织这些大型数据库。一味的地追求“大”,会在基础设施和人力资源方面产生一定程度上的不必要成本。

而现在,是时候将热点从“大数据”改为“深数据”了。如今,我们对待数据应当更加深思熟虑,而不是不加筛选地收集所有可获得的数据来实现“大数据”。我们现在需要让一些数据落实到位,并寻求数量和质量的多样性。这一举措将带来许多长期利益。

四种大数据神话

要理解从“大”到“深”的这种转变,首先让我们看一下对大数据的一些错误观念。以下是一些严重夸大的大数据神话:

所有数据都可以并且应当被捕获和存储。

更多的数据总是有助于建立更准确的预测模型。

储存更多数据的成本几乎为零。

计算更多数据的成本几乎为零。

然而:

来自物联网和网络流量的数据显然超过了我们的捕获能力。很多数据都需要在获取时进行预处理以便储存和管理。我们需要依照其价值对数据进行分类与筛选。

重复使用一千次相同的数据进行训练并不会提高预测模型的准确性。

存储更多数据的成本不仅仅是亚马逊网络服务向您收取的以 TB 计费的美元。同时也包括系统在查找和管理多个数据源的额外复杂性,以及员工移动和使用该数据的“虚拟重量”。这些成本通常高于存储和计算费用。

人工智能算法对计算资源的需求会快速超越弹性云基础设施所能提供的算力。在没有专业的管理策略的情况下,计算资源会呈线性增长,而计算需求则会出现超线性增长,甚至指数级增长。

如果轻信了这些神话,你所构建的信息系统可能看起来会像是纸上谈兵,或从长期角度看起来很好,但在即时性的框架中实现起来则是复杂且低效的。

四种大数据问题

以下是在数据方面盲目相信“越多越好”会导致的四个问题:

重复的数据对模型无益。在为 AI 构建机器学习模型时,训练样本的多样性至关重要。原因是模型试图确定概念边界。例如,如果您的模型试图通过年龄和职业来定义“退休工人”的概念,那么像“32 岁的注册会计师”这样的重复样本对该模型并没有什么价值,因为这些人大都没有退休。在 65 岁的概念边界中获得样本并了解退休如何随职业而变化则更具有价值。

低质量数据会对模型有害。在 AI 试图学习两个概念之间边界的过程中,如果新数据是不精确的,或存在错误,那么它会混淆这个边界。在这种情况下,更多数据无济于事,并且还有可能会降低现有模型的准确性。

大数据增加了时间成本。对于不同学习算法,在 TB 级的数据上构建模型可能会比在数 GB 的数据上构建模型多花费约千倍、甚至万倍的时间。数据科学本就是快速实验,虽不完美却轻量的模型更具有前景。数据科学一旦失去了速度,则失去了未来。

大数据环境下易于实现的模型。任何预测模型的最终目的都是创建一个可用于商业部署的高度准确的模型。有时使用来自数据库深处阴暗面的模糊数据可能会产生更高的准确性,但所使用的数据对于实际部署可能是有风险的。使用一个不太准确却可以快速部署和运行的模型往往更好。

四种更好的措施

您可以采取一些措施来对抗大数据的“阴暗面”并转为深度数据思维:

学会在准确性和执行性之前权衡。数据科学家普遍喜欢将目标定为更准确的模型。实际上,你应当根据准确性和部署速度,计算合理的 ROI 期望,然后再开始你的项目。

使用随机样本构建每个模型。如果你已经获得了大数据,那么没有理由不使用它。如果可以使用好的随机抽样方法,那么你可以先使用小样本建立模型,然后在整个数据库上进行训练和调试以获得更准确的预测模型。

丢弃一些数据。如果您对来自物联网设备和其他来源的流数据感到不知所措,请抛弃一些数据,不要有太大的负担。如果你无法购买足够的磁盘来存储多余的数据,它会破坏你在数据科学生产线后期的所有工作。

寻找更多数据源。人工智能最近的许多突破并不是因为更大的数据集,而是能够将机器学习算法成功的运用于这些数据,这在之前是无法实现的。例如,如今普遍存在的大型文本,图像,视频和音频数据集在二十年前并不存在。你应当不断寻找新的数据以找到更好的机会。

四种得到的改善

如果您专注于深度数据而不仅仅是数据的广度,您将享受到许多好处。以下是一些关键问题:

一切都会更快。使用较小的数据,您的数据迁移、实验、训练和模型测试都会快得多。

更少的存储和计算需求。专注于深度数据意味着您将更加智能地使用更小的磁盘以及云平台占用空间。这将为你节省一笔可观的基础设施成本,用你节省的资金聘请更多数据科学家和 AI 专家吧!

低压的 IT 人员和更高幸福感的数据科学家。凭借深厚的数据文化,您的 IT 团队将不会愿意听从数据科学家的意见行事,或者不得不终止所有因沉浸于云资源而失控的作业。同样,当数据科学家花费更多时间构建和测试模型,而不是将这些时间消耗在迁移数据或等待长时间的训练过程时,他们会更加高兴。

更难的问题可以解决。构建 AI 模型并不是一种神奇的体验,只能由类似巫师的研究人员执行。事实上,逻辑远比魔术更重要。这类似于一位艺术老师的故事,他告诉半个班级,他们的成绩将取决于他们制作的艺术品的数量,另一半的成绩将根据他们最好的作品的质量进行评分。很多学生都创造了大量的艺术品,并且令人震惊的是,这些艺术品的质量也都不差。数量和质量很多时候并不矛盾。这则例子是想说明:在相同资源约束下尝试的更多模型可能意味着可以获得质量更高的模型。

许多公司的决策过程都在逐渐转变为数据驱动的方式,这与大数据及其技术方面的突破密不可分。随着人工智能的兴起以及对这些强大资源的处理能力的饱和,我们现在需要更加精确地根据我们的数据需求建立一种理解深度数据而不仅仅是广度数据的文化。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理带给企业的6个惊喜

    数据治理带给企业的6个惊喜

    数据治理是GDPR的强制要求实际是一把双刃剑。一方面,法律法规的强制规定能立即引起客户对数据治理的重视。另一方面,为了达到合规,很多企业……查看详情

    发布时间:2019.08.07来源:CSDN浏览量:3次

  • 数据治理之道帮助企业完成数字化转型

    数据治理之道帮助企业完成数字化转型

    数据治理不能再只是面向数据部门了,需要成为面向全企业用户的工作环境,需要以全企业用户为中心,从给用户提供服务的角度,管理好数据的同时为用……查看详情

    发布时间:2020.06.28来源:知乎浏览量:2次

  • 企业数字化转型面临的挑战

    企业数字化转型面临的挑战

    来自调研机构Gartner的预测也显示,到2020年,多数企业将有75%的业务实现数字化或正在数字化。数字化转型已经成为企业发展的必经之……查看详情

    发布时间:2020.04.03来源:知乎浏览量:1次

  • 金融业如何解困破局、实现数据有序治理和高效利用

    金融业如何解困破局、实现数据有序治理和高效利用

    现如今金融业如何解困破局、实现数据有序治理和高效利用,是需要共同探讨的重点议题。数据治理应遵循四大基本原则。……查看详情

    发布时间:2019.12.12来源:知乎浏览量:2次

  • 有效数据治理的6大原则

    有效数据治理的6大原则

    如果你常常对数据准确性而烦恼,大部分时间都用于处理数据而不是对业务进行思考分析的话,那么你需要好好对数据进行治理了。……查看详情

    发布时间:2019.10.17来源:知乎浏览量:2次

  • 大数据环境下的数据质量管理策略

    大数据环境下的数据质量管理策略

    信息时代,数据已经慢慢成为一种资产,数据质量成为决定资产优劣的一个重要方面。随着大数据的发展,越来越丰富的数据给数据质量的提升带来了新的……查看详情

    发布时间:2019.11.06来源:知乎浏览量:6次

  • 数据中台和业务中台的区别

    数据中台和业务中台的区别

    数据中台是什么?数据中使前台更智慧。当然它也可以加快前台的开发速度,但它更重要的是使前台更智慧。业务系统,原来是跨类的,是分领域的财务系……查看详情

    发布时间:2021.01.23来源:头条浏览量:2次

  • 你认为你知道什么是数据治理吗?

    你认为你知道什么是数据治理吗?

    数据治理是当今一个相对较新且非常热门的话题。因此,毫不奇怪,对数据治理的定义有多种不同的定义。大多数这些定义都是自我服务……查看详情

    发布时间:2018.11.19来源:丹尼尔舒勒浏览量:1次

  • 大数据治理需要具备哪些能力和关键技术

    大数据治理需要具备哪些能力和关键技术

    从企业的数据资产管理和提升数据质量等的数据应用上,大数据治理的内容在不断地发展和完善,在其落地实施的过程中面临着巨大的挑战。我们现在通过……查看详情

    发布时间:2019.08.13来源:知乎浏览量:1次

  • 医疗数据治理在大数据分析中的作用

    医疗数据治理在大数据分析中的作用

    数据治理对医疗保健组织意味着什么?为什么在进行大数据分析之前掌握它至关重要?数据一直是医疗保健行业的生命线。从血压读数和手术记录到保险索……查看详情

    发布时间:2018.11.19来源:Thinkstock浏览量:2次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议