数据管理和物联网

发布时间:2019.02.20来源:亿信华辰浏览量:28次标签:数据治理


数十亿带传感器的东西环绕着人们和他们的生活。这些物联网(IoT)与人,家庭,工厂,工作场所,城市,农场和车辆互动Gartner预测,到2020年,物联网技术将占新产品设计的95%,从可穿戴设备到医疗设备等。

物联网承诺提供有用的信息,可以更快地检测健康问题,监控健康状况,更好,更安全地跟踪货物,以及更有效地生产食品。

然而,所有这些都通过以几乎轻的速度发送大量和各种信息而产生很多噪音。管理所有这些物联网数据意味着开发和执行能够满足完整数据生命周期需求的体系结构,策略,实践和过程,这带来了独特的挑战。需要重新思考和扩展传统的大数据方法和基础设施。

物联网数据管理中的常见问题

使用物联网数据需要的时间跨度比从人类收集的数据要短。例如,来自人们评论和行动的调查数据往往会在几分钟,几小时或几天内到达,而不是几秒钟。鉴于此,管理人员可能在决定选择哪些数据方面具有更大的灵活性,而更少的无关数据可以通过。相比之下,物联网正在创建自己的生态系统,加剧了三个典型的数据管理问题:

  • 可扩展性和敏捷性:物联网数据流量的庞大规模及其即时性使得此数据管理问题变得最为紧迫。鉴于IoT设备的数量会随着时间的推移而增加,例如40到400个设备,物联网架构如何适应这种情况?物联网如何连接,允许人和物进行实时处理和分析,因为物联网数据的保质期短?一旦物联网数据到达某处,它如何存储,确保有足够的空间容纳新信息?输入和输出如何通过传感器流动而不会堵塞?IoT数据是否需要访问非传感器数据(例如,关于用户和密码的元数据),那么该如何获取和理解这些信息呢?
  • 安全性:Gartner的调查显示,对于规划和实施物联网解决方案的组织而言,安全性是一项重大挑战。据估计,到2022年,物联网的所有安全预算中有一半将用于故障修复。防止未经授权的访问已成为最重要的。2017年6月,“新闻周刊”报道称,使用物联网的美国公司中近一半受到安全漏洞的影响,成本可能惊人 - 大型企业超过2000万。

但这只是问题的一部分。组织需要遵守有关保护数据的国家规则和法规。自2018年5月起实施的一项主要法规,即通用数据保护法规(GDPR),可能会对违规行为进行大量罚款。

为了理解这种复杂性,以冰箱为例,告知其所有者鸡蛋和牛奶已经过期。在未经所有者同意的情况下将该信息发布到互联网上,即使只是将其存档,也会违反GDPR等法规。但是冰箱老板可能希望他们的杂货店能够确保鸡蛋和牛奶有库存。功能传感器需要访问适当的信息。

为了提高能源消耗,fluidOps Information Workbench将传感器与挪威StatOil提供的能源本体连接,并与德国能源管理系统提供商分析物联网传感器数据。引入防止这些实体之间基本信息流动的安全屏障将适得其反。

  • 实用性: Lewis Kaneshiro指出,数据到货时价值最大,随着数据存储量的增加,数据会逐渐减少。物联网依靠快速数据,现在获得洞察力。自适应维护,安全监控,预测性修复和流程优化等功能依赖于实时数据。
  • 安全性:考虑一下亚利桑那州优步自动驾驶汽车的死亡情况。因为是晚上,汽车的传感器可能无法识别黑暗中的行人使用该信息减速。如果SUV的传感器确实识别了行人,那么它仍然没有有效地使用该信息。
  • 过滤:如何过滤和有效地过滤传感器数据?什么类型的数据过滤器应该用于什么类型的传感器?如何通过传感器记录不正确的信息(例如将行人记录为另一辆车)?如何丢弃这些虚假数据?如何检查物联网数据的质量?

鉴于物联网问题的复杂性和紧迫性,毫无疑问,全球物联网数据管理市场规模预计将从2017年的275.4亿美元增长到2022年的664.4亿美元。

物联网数据管理:战略和解决方案

幸运的是,物联网数据管理策略存在于过去的技术和方法中。来自Gartner的 Christy Pettey 引用 Ted Friedman的话说,“许多应用于更传统用例的数据管理基础设施工具和技术可以通过某种方式用于支持物联网。”例如,考虑:

  • 边缘计算:在边缘计算中,数据在数据源附近或网络边缘处理,而在典型的云环境中,数据处理在集中式数据存储位置进行。通过在本地处理和使用一些数据,物联网可以节省数据存储空间,更快地处理信息,并应对安全挑战。

如果冰箱需要将温度降低到业主的要求,这可以在家庭网络上完成,甚至只需要由设备本身完成。有关恒温器故障或所需修复的信息可以存储在本地,并推送到制造商或供应商的云环境以进行进一步分析。当开发人员找到问题的补丁时,它可以打包并通过云发送并由设备在本地打开,这可以通过微服务处理大多数代码更新和密集处理。

同时,由于只有所需数据量在家庭之外传播给供应商或制造商,因此不太可能共享未经授权的个人信息。

  • 数据治理:数据治理通过定义信息访问来降低安全风险。数据治理描述了管理数据资产的权限和控制。以前,正如Jennifer Zaino所说,数据治理描述了一项以IT为中心的服务。在物联网领域,数据治理对每个用户都变得更加重要。

典型的住宅没有IT部门,因此数据治理成为典型消费者的责任。关于如何有效管理个人数据的消费者教育将变得至关重要。

任何需要决定设置或使用设备的人都需要可以使用的高质量信息。正如erwin产品营销经理Danny Sandwell所指出的,这种额外的数据治理要求是Data Governance 2.0的关键。在物联网中,“数据治理”需要成为一个共同的家庭术语。

  • 元数据管理:为了使物联网数据有用,元数据起着至关重要的作用。Donna Burbank表示,元数据描述了“ 上下文中的数据 ”。良好的元数据会提示设备在什么时候使用哪些信息以及如何使用它。

元数据还为自动化系统提供了深度学习的核心。在自动驾驶汽车的情况下,元数据提供行程背景,使驾驶更安全,这可能有助于挽救行人的生命。CIO的Thor Olavsrud解释说,“提取有意义的见解并提高运营效率将需要灵活的集成工具,使用户能够快速获取,准备,分析和管理数据。”元数据管理将是必不可少的。

Gartner预测,随着企业不断管理传感器类型,功能,位置,制造商和序列号生成的数据,元数据管理解决方案将不断发展。

未来物联网数据管理

虽然边缘计算,数据治理和元数据管理将帮助企业处理可扩展性和灵活性,安全性和可用性,但这只是一个开始。

Gartner副总裁兼杰出分析师Ted Friedman 解释说,到2019年,由于缺乏适用于物联网的数据管理和分析功能,三分之一的物联网解决方案将在部署前放弃。他指出,组织需要在几个关键领域实现现代化,包括采用新的数据管理技术和平台,以及创建新的数据治理政策。要使物联网蓬勃发展,数据管理必须包含更多现代基础设施和支持它们的技术。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理的坑你遇到过几个?

    数据治理的坑你遇到过几个?

    数据治理是一项长期而繁杂的工作,很多时候大家都为如何做好数据治理而感到困惑,甚至很多时候对此失去了信心。……查看详情

    发布时间:2019.08.19来源:御数坊浏览量:24次

  • 企业如何进行数据资产管理

    企业如何进行数据资产管理

    大数据离不开计算和存储,因此大数据建设与成本强挂钩。大数据需要耗费大量的计算存储资源,如果没有合理的资产管理,很可能在大数据还没来得及发……查看详情

    发布时间:2020.08.28来源:知乎浏览量:17次

  • 数据治理的未来:平衡数据治理和数据管理

    数据治理的未来:平衡数据治理和数据管理

    如何通过快速访问高质量数据,灌输信心并支持数据驱动的决策,为业务合作伙伴创造竞争优势?” Citizens Bank首席数据官(CDO)……查看详情

    发布时间:2018.11.14来源:Michelle Knight浏览量:29次

  • 数据安全系列(一)之大数据安全管理体系

    数据安全系列(一)之大数据安全管理体系

    信息技术的快速发展和各种IT技术的广泛应用,企业越来越多的依赖于IT技术来支撑自己业务生产的正常运转。产生的大量数据,成为企业核心资产的……查看详情

    发布时间:2019.01.10来源:亿信华辰浏览量:54次

  • 如何成功实现一个数据治理项目,大神详细拆解实施要点

    如何成功实现一个数据治理项目,大神详细拆解实施要点

    此文将主要围绕数据治理项目具体阐述实施步骤、工具平台的功能,并基于实践经验,提出数据治理成功的要素。全文有点长,非常实用的干货,建议收藏……查看详情

    发布时间:2021.05.26来源:亿信数据治理知识库浏览量:53次

  • 大数据时代企业为什么需要数据治理吗?

    大数据时代企业为什么需要数据治理吗?

    如今数字化转型正在各行各业中迅速发展,以数据、流量、知识为主大数据时代已经到来,对于一个企业来说,要实施数字花和大数据战略,数据治理更为……查看详情

    发布时间:2019.07.18来源:知乎浏览量:35次

  • 为什么数据标准这么重要,三个小招教你实现

    为什么数据标准这么重要,三个小招教你实现

    评价是现代社会各领域的一项经常性的工作,是科学做出管理决策的重要依据。随着人们研究领域的不断扩大,所面临的评价对象日趋复杂,如果仅依据单……查看详情

    发布时间:2020.07.17来源:CSDN浏览量:11次

  • 经济社会数字化转型的特征事实

    经济社会数字化转型的特征事实

    联合国、世界贸易组织、经济合作和发展组织、国际货币基金组织等先后于近期发表研究报告,从整体上描述了经济社会数字化转型的特征事实。概括起来……查看详情

    发布时间:2020.10.31来源:知乎浏览量:18次

  • 谈谈工业企业数据治理建设的趋势

    谈谈工业企业数据治理建设的趋势

    工业企业数据环境复杂,数据类型多、产生速度快、数据量大、数据质量不高、数据人才匮乏,因此如何发挥和挖掘数据要素的价值成为当代企业关注的话……查看详情

    发布时间:2022.06.28来源:互联网浏览量:30次

  • 浅谈数据治理的发展趋势

    浅谈数据治理的发展趋势

    随着大数据技术的飞速发展,大数据已经融入到了各行各业,为了能让各企业的数据资产得到充分的利用,数据治理非常重要,如今数据治理已经逐渐成为……查看详情

    发布时间:2019.07.17来源:知乎浏览量:26次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议