数据管理和物联网

数十亿带传感器的东西环绕着人们和他们的生活。这些物联网（IoT）与人，家庭，工厂，工作场所，城市，农场和车辆互动。Gartner预测，到2020年，物联网技术将占新产品设计的95％，从可穿戴设备到医疗设备等。

物联网承诺提供有用的信息，可以更快地检测健康问题，监控健康状况，更好，更安全地跟踪货物，以及更有效地生产食品。

然而，所有这些都通过以几乎轻的速度发送大量和各种信息而产生很多噪音。管理所有这些物联网数据意味着开发和执行能够满足完整数据生命周期需求的体系结构，策略，实践和过程，这带来了独特的挑战。需要重新思考和扩展传统的大数据方法和基础设施。

物联网数据管理中的常见问题

使用物联网数据需要的时间跨度比从人类收集的数据要短。例如，来自人们评论和行动的调查数据往往会在几分钟，几小时或几天内到达，而不是几秒钟。鉴于此，管理人员可能在决定选择哪些数据方面具有更大的灵活性，而更少的无关数据可以通过。相比之下，物联网正在创建自己的生态系统，加剧了三个典型的数据管理问题：

• 可扩展性和敏捷性：物联网数据流量的庞大规模及其即时性使得此数据管理问题变得最为紧迫。鉴于IoT设备的数量会随着时间的推移而增加，例如40到400个设备，物联网架构如何适应这种情况？物联网如何连接，允许人和物进行实时处理和分析，因为物联网数据的保质期短？一旦物联网数据到达某处，它如何存储，确保有足够的空间容纳新信息？输入和输出如何通过传感器流动而不会堵塞？IoT数据是否需要访问非传感器数据（例如，关于用户和密码的元数据），那么该如何获取和理解这些信息呢？
• 安全性：Gartner的调查显示，对于规划和实施物联网解决方案的组织而言，安全性是一项重大挑战。据估计，到2022年，物联网的所有安全预算中有一半将用于故障修复。防止未经授权的访问已成为最重要的。2017年6月，“新闻周刊”报道称，使用物联网的美国公司中近一半受到安全漏洞的影响，成本可能惊人 - 大型企业超过2000万。

但这只是问题的一部分。组织需要遵守有关保护数据的国家规则和法规。自2018年5月起实施的一项主要法规，即通用数据保护法规（GDPR），可能会对违规行为进行大量罚款。

为了理解这种复杂性，以冰箱为例，告知其所有者鸡蛋和牛奶已经过期。在未经所有者同意的情况下将该信息发布到互联网上，即使只是将其存档，也会违反GDPR等法规。但是冰箱老板可能希望他们的杂货店能够确保鸡蛋和牛奶有库存。功能传感器需要访问适当的信息。

为了提高能源消耗，fluidOps Information Workbench将传感器与挪威StatOil提供的能源本体连接，并与德国能源管理系统提供商分析物联网传感器数据。引入防止这些实体之间基本信息流动的安全屏障将适得其反。

• 实用性： Lewis Kaneshiro指出，数据到货时价值最大，随着数据存储量的增加，数据会逐渐减少。物联网依靠快速数据，现在获得洞察力。自适应维护，安全监控，预测性修复和流程优化等功能依赖于实时数据。
• 安全性：考虑一下亚利桑那州优步自动驾驶汽车的死亡情况。因为是晚上，汽车的传感器可能无法识别黑暗中的行人使用该信息减速。如果SUV的传感器确实识别了行人，那么它仍然没有有效地使用该信息。
• 过滤：如何过滤和有效地过滤传感器数据？什么类型的数据过滤器应该用于什么类型的传感器？如何通过传感器记录不正确的信息（例如将行人记录为另一辆车）？如何丢弃这些虚假数据？如何检查物联网数据的质量？

鉴于物联网问题的复杂性和紧迫性，毫无疑问，全球物联网数据管理市场规模预计将从2017年的275.4亿美元增长到2022年的664.4亿美元。

物联网数据管理：战略和解决方案

幸运的是，物联网数据管理策略存在于过去的技术和方法中。来自Gartner的 Christy Pettey 引用 Ted Friedman的话说，“许多应用于更传统用例的数据管理基础设施工具和技术可以通过某种方式用于支持物联网。”例如，考虑：

• 边缘计算：在边缘计算中，数据在数据源附近或网络边缘处理，而在典型的云环境中，数据处理在集中式数据存储位置进行。通过在本地处理和使用一些数据，物联网可以节省数据存储空间，更快地处理信息，并应对安全挑战。

如果冰箱需要将温度降低到业主的要求，这可以在家庭网络上完成，甚至只需要由设备本身完成。有关恒温器故障或所需修复的信息可以存储在本地，并推送到制造商或供应商的云环境以进行进一步分析。当开发人员找到问题的补丁时，它可以打包并通过云发送并由设备在本地打开，这可以通过微服务处理大多数代码更新和密集处理。

同时，由于只有所需数据量在家庭之外传播给供应商或制造商，因此不太可能共享未经授权的个人信息。

• 数据治理：数据治理通过定义信息访问来降低安全风险。数据治理描述了管理数据资产的权限和控制。以前，正如Jennifer Zaino所说，数据治理描述了一项以IT为中心的服务。在物联网领域，数据治理对每个用户都变得更加重要。

典型的住宅没有IT部门，因此数据治理成为典型消费者的责任。关于如何有效管理个人数据的消费者教育将变得至关重要。

任何需要决定设置或使用设备的人都需要可以使用的高质量信息。正如erwin产品营销经理Danny Sandwell所指出的，这种额外的数据治理要求是Data Governance 2.0的关键。在物联网中，“数据治理”需要成为一个共同的家庭术语。

• 元数据管理：为了使物联网数据有用，元数据起着至关重要的作用。Donna Burbank表示，元数据描述了“ 上下文中的数据 ”。良好的元数据会提示设备在什么时候使用哪些信息以及如何使用它。

元数据还为自动化系统提供了深度学习的核心。在自动驾驶汽车的情况下，元数据提供行程背景，使驾驶更安全，这可能有助于挽救行人的生命。CIO的Thor Olavsrud解释说，“提取有意义的见解并提高运营效率将需要灵活的集成工具，使用户能够快速获取，准备，分析和管理数据。”元数据管理将是必不可少的。

Gartner预测，随着企业不断管理传感器类型，功能，位置，制造商和序列号生成的数据，元数据管理解决方案将不断发展。

未来物联网数据管理

虽然边缘计算，数据治理和元数据管理将帮助企业处理可扩展性和灵活性，安全性和可用性，但这只是一个开始。

Gartner副总裁兼杰出分析师Ted Friedman 解释说，到2019年，由于缺乏适用于物联网的数据管理和分析功能，三分之一的物联网解决方案将在部署前放弃。他指出，组织需要在几个关键领域实现现代化，包括采用新的数据管理技术和平台，以及创建新的数据治理政策。要使物联网蓬勃发展，数据管理必须包含更多现代基础设施和支持它们的技术。