四说大数据时代“神话”:从大数据到深数据

发布时间:2019.02.14来源:亿信华辰浏览量:11次标签:数据治理

作为国内最大的电商平台之一,苏宁每天要处理数量巨大的数据。为了更快速高效地处理这些数据,苏宁调度平台采取了哪些措施呢?

在机器学习领域一直有一个基础性的误解,即更大的数据会产生更好的学习效果。然而,更大的数据并不一定意味着能发现更深刻的信息。实际上,与数据的规模相比,数据的质量、价值和多样性更值得关注,即数据的“深度”重于“广度”。本文从四个角度思考了大数据时代的问题并提出了一些建议的做法以改善这些问题。

最近一段时间,对大数据的炒作正在减弱。云计算,Hadoop 及其他类似的工具已经有效地解决了大数据的处理问题。但是,仍有大部分人愿意在基础设施上加大投资力度,以期望处理、保存和组织这些大型数据库。一味的地追求“大”,会在基础设施和人力资源方面产生一定程度上的不必要成本。

而现在,是时候将热点从“大数据”改为“深数据”了。如今,我们对待数据应当更加深思熟虑,而不是不加筛选地收集所有可获得的数据来实现“大数据”。我们现在需要让一些数据落实到位,并寻求数量和质量的多样性。这一举措将带来许多长期利益。

四种大数据神话

要理解从“大”到“深”的这种转变,首先让我们看一下对大数据的一些错误观念。以下是一些严重夸大的大数据神话:

所有数据都可以并且应当被捕获和存储。

更多的数据总是有助于建立更准确的预测模型。

储存更多数据的成本几乎为零。

计算更多数据的成本几乎为零。

然而:

来自物联网和网络流量的数据显然超过了我们的捕获能力。很多数据都需要在获取时进行预处理以便储存和管理。我们需要依照其价值对数据进行分类与筛选。

重复使用一千次相同的数据进行训练并不会提高预测模型的准确性。

存储更多数据的成本不仅仅是亚马逊网络服务向您收取的以 TB 计费的美元。同时也包括系统在查找和管理多个数据源的额外复杂性,以及员工移动和使用该数据的“虚拟重量”。这些成本通常高于存储和计算费用。

人工智能算法对计算资源的需求会快速超越弹性云基础设施所能提供的算力。在没有专业的管理策略的情况下,计算资源会呈线性增长,而计算需求则会出现超线性增长,甚至指数级增长。

如果轻信了这些神话,你所构建的信息系统可能看起来会像是纸上谈兵,或从长期角度看起来很好,但在即时性的框架中实现起来则是复杂且低效的。

四种大数据问题

以下是在数据方面盲目相信“越多越好”会导致的四个问题:

重复的数据对模型无益。在为 AI 构建机器学习模型时,训练样本的多样性至关重要。原因是模型试图确定概念边界。例如,如果您的模型试图通过年龄和职业来定义“退休工人”的概念,那么像“32 岁的注册会计师”这样的重复样本对该模型并没有什么价值,因为这些人大都没有退休。在 65 岁的概念边界中获得样本并了解退休如何随职业而变化则更具有价值。

低质量数据会对模型有害。在 AI 试图学习两个概念之间边界的过程中,如果新数据是不精确的,或存在错误,那么它会混淆这个边界。在这种情况下,更多数据无济于事,并且还有可能会降低现有模型的准确性。

大数据增加了时间成本。对于不同学习算法,在 TB 级的数据上构建模型可能会比在数 GB 的数据上构建模型多花费约千倍、甚至万倍的时间。数据科学本就是快速实验,虽不完美却轻量的模型更具有前景。数据科学一旦失去了速度,则失去了未来。

大数据环境下易于实现的模型。任何预测模型的最终目的都是创建一个可用于商业部署的高度准确的模型。有时使用来自数据库深处阴暗面的模糊数据可能会产生更高的准确性,但所使用的数据对于实际部署可能是有风险的。使用一个不太准确却可以快速部署和运行的模型往往更好。

四种更好的措施

您可以采取一些措施来对抗大数据的“阴暗面”并转为深度数据思维:

学会在准确性和执行性之前权衡。数据科学家普遍喜欢将目标定为更准确的模型。实际上,你应当根据准确性和部署速度,计算合理的 ROI 期望,然后再开始你的项目。

使用随机样本构建每个模型。如果你已经获得了大数据,那么没有理由不使用它。如果可以使用好的随机抽样方法,那么你可以先使用小样本建立模型,然后在整个数据库上进行训练和调试以获得更准确的预测模型。

丢弃一些数据。如果您对来自物联网设备和其他来源的流数据感到不知所措,请抛弃一些数据,不要有太大的负担。如果你无法购买足够的磁盘来存储多余的数据,它会破坏你在数据科学生产线后期的所有工作。

寻找更多数据源。人工智能最近的许多突破并不是因为更大的数据集,而是能够将机器学习算法成功的运用于这些数据,这在之前是无法实现的。例如,如今普遍存在的大型文本,图像,视频和音频数据集在二十年前并不存在。你应当不断寻找新的数据以找到更好的机会。

四种得到的改善

如果您专注于深度数据而不仅仅是数据的广度,您将享受到许多好处。以下是一些关键问题:

一切都会更快。使用较小的数据,您的数据迁移、实验、训练和模型测试都会快得多。

更少的存储和计算需求。专注于深度数据意味着您将更加智能地使用更小的磁盘以及云平台占用空间。这将为你节省一笔可观的基础设施成本,用你节省的资金聘请更多数据科学家和 AI 专家吧!

低压的 IT 人员和更高幸福感的数据科学家。凭借深厚的数据文化,您的 IT 团队将不会愿意听从数据科学家的意见行事,或者不得不终止所有因沉浸于云资源而失控的作业。同样,当数据科学家花费更多时间构建和测试模型,而不是将这些时间消耗在迁移数据或等待长时间的训练过程时,他们会更加高兴。

更难的问题可以解决。构建 AI 模型并不是一种神奇的体验,只能由类似巫师的研究人员执行。事实上,逻辑远比魔术更重要。这类似于一位艺术老师的故事,他告诉半个班级,他们的成绩将取决于他们制作的艺术品的数量,另一半的成绩将根据他们最好的作品的质量进行评分。很多学生都创造了大量的艺术品,并且令人震惊的是,这些艺术品的质量也都不差。数量和质量很多时候并不矛盾。这则例子是想说明:在相同资源约束下尝试的更多模型可能意味着可以获得质量更高的模型。

许多公司的决策过程都在逐渐转变为数据驱动的方式,这与大数据及其技术方面的突破密不可分。随着人工智能的兴起以及对这些强大资源的处理能力的饱和,我们现在需要更加精确地根据我们的数据需求建立一种理解深度数据而不仅仅是广度数据的文化。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 企业数据治理的九大要素

    企业数据治理的九大要素

    元数据管理致力于处理技术元数据、业务元数据、管理元数据,通过丰富的元数据分析和检核,帮助各行各业用户获得更多的数据洞察力,进而挖掘出隐藏……查看详情

    发布时间:2020.07.10来源:知乎浏览量:16次

  • 数据中台如何进行数据治理

    数据中台如何进行数据治理

    数据中台可通过数据需求、数据质量、元数据管理等领域加强数据治理。……查看详情

    发布时间:2020.04.01来源:知乎浏览量:9次

  • 2020年数据治理研究报告

    2020年数据治理研究报告

    2020年5月发布的《中共中央 国务院关于新时代加快完善社会主义市场经济体制的意见》中提出,要加快培育发展数据要素市场,建立数据资源清单……查看详情

    发布时间:2021.02.27来源:知乎浏览量:9次

  • 什么是数据治理?

    什么是数据治理?

    可用性指数据可用、可信且有质量保证,不会因为分析结果的准确性造成偏差,从业者可以放心地根据数据结果做业务决策;完整性分为两个方面,一方面……查看详情

    发布时间:2019.11.01来源:知乎浏览量:6次

  • 2019年的数据前景如何

    2019年的数据前景如何

    这三个与数据相关的趋势今年值得关注。 公司喜欢技术堆栈所有层的“即服务”模式,从云供应商提供的基础架构到完整的SaaS应用程序。但是……查看详情

    发布时间:2019.01.07来源:数据治理浏览量:4次

  • 数据湖架构 - 最佳实践指南

    数据湖架构 - 最佳实践指南

    实施正确的数据湖架构对于将数据转化为价值至关重要。无论您的数据湖中有多少数据,如果您缺乏有效管理数据、跟踪数据并确保其安全的架构特性,那……查看详情

    发布时间:2021.06.18来源:亿信数据治理知识库浏览量:12次

  • 数据治理模型 - 组织数据质量管理的责任

    数据治理模型 - 组织数据质量管理的责任

    企业需要数据质量管理(DQM),它结合了业务驱动和技术观点,以应对需要高质量企业数据的战略和运营挑战。迄今为止,公司已将DQM的责任主要……查看详情

    发布时间:2018.12.21来源:数据治理浏览量:5次

  • 98%的企业备战数据治理,尚未入局的你还在等什么

    98%的企业备战数据治理,尚未入局的你还在等什么

    UBM近日发布了一份2018企业数据治理白皮书。白皮书中分析了数据治理的现状:虽然越来越多的企业(尤其是业务部门及IT部门)逐渐开始关注……查看详情

    发布时间:2019.05.30来源:亿信华辰浏览量:5次

  • 企业如何解决数据治理中的数据质量问题

    企业如何解决数据治理中的数据质量问题

    解决数据治理中的数据质量问题需要技术手段,也需要管理手段,要决策层给予充分的支持,从而在技术与业务互动中逐步解决数据质量问题。……查看详情

    发布时间:2019.09.25来源:知乎浏览量:5次

  • 如何把握数据治理项目启动的最佳时机

    如何把握数据治理项目启动的最佳时机

    如今,大数据正在社会的各行各业发挥着越来越重要的作用,数据已成为企业的核心资产和重要战略资源,是重要的生产因素。在数据驱动的信息化时代,……查看详情

    发布时间:2019.09.09来源:知乎浏览量:6次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议