数据管理和分析趋势正在改变世界

发布时间:2019.01.03来源:bingdata123浏览量:4次标签:数据治理

现在的数据世界正在发生什么,它将如何影响2018年的市场?比如这些头条新闻:人工智能无处不在,并将改变一切;企业继续将他们的基础设施和数据转移到云端;GDPR将使数据保护成为每个公司的首要任务。你知道这些,但也许会对这种夸大其词的说法有点怀疑。


那么到底发生了什么实质性的变化?在制定架构和采购策略并在这些领域做出决策时,你需要注意什么?接下来我们会讨论在分析领域发生的7个影响深远的变化,并将它们一一呈现。

Hadoop始终是根基

是的,那些大数据项目的失败率很高;并且Spark在某种程度上已经取代了Hadoop,越来越多的客户开始独立运行它,所以业界开始指责Hadoop…并且不再提到它的名字。所以你认为Hadoop一定已经过时了,对吧?

错!现在每个人都在谈论数据湖,很多时候,那只是Hadoop的代码。而且,虽然许多公司正在云存储中实现他们的数据湖,也经常使用Hadoop生态系统技术来分析这些数据。除此之外,当开始使用云存储来模拟HDFS、Hadoop的文件系统时,你就会意识到云数据湖和Hadoop数据湖并没有本质区别。

好消息是,今年Hadoop将会做它一直应该做的事情:低调地被很多企业接受,并将成为众多数据工具之一,发挥其战略作用。正是这些数据技术的结合,包括Hadoop、Spark、Business Intelligence (BI)和数据仓库,使得当前的分析市场如此令人兴奋。

再见!企业级商业智能栈

今年早些时候,作为一家企业级商业智能公司,MicroStrategy宣布向其前端竞争对手做出让步,引入他们的产品。MicroStrategy相信可以通过利用后端OLAP平台以及相关的数据处理来盈利。该公司似乎意识到了在数据可视化和仪表板方面的竞争是比较困难的,即使能够取得成功,也会带来收益递减。

那么后端是否足以维持企业收入并持续增长?我们拭目以待。但有一点是肯定的,单一的企业级商业智能堆栈已经开始解体,新的挑战即将开始。

数据分层

也许你熟悉数据分层的概念,比如数据存储与其访问频率的相关性。“热门”数据,即最常用的数据,有时访问请求会被路由到非常快的存储,比如固态硬盘,甚至是CPU缓存中;而冷门数据通常存储在更老的,但更便宜的旋转硬盘驱动器之中。

随着存储层次的完善,我们将在今年看到其他层次结构被逐渐认可。例如,分析涉及从与特定团队或业务单位相关的实验数据集到对整个企业都有用的高度结构化,审核和共识驱动的数据。 中间是结构化数据集,可能由于大小或清洁程度而被视为略低于生产水平。

实验数据集存储在数据湖中最好;逻辑上,高度审查的数据集最好存储在数据仓库中。中级数据集可能比较适合放在Hadoop或云存储中,但通常会使用IBM Big SQL,Microsoft PolyBase和Oracle Big Data SQL等SQL-on-Hadoop工具从关系型数据库中进行查询。

还有一种层次结构可能会根据数据是用于设计机器学习模型还是仅用于分析来对数据进行分层,其他的层次结构可能由数据源的可信度来定义。

层次结构之所以重要,是因为相应的工具和技术也存在分级,包括查询端的商业智能和大数据分析工具,以及存储库端的事务型数据库,NoSQL数据库,数据仓库和数据湖。虽然最终,层次结构可能会得到简化,技术可能会趋于整合,但是现在有了这么多的技术选择,我们就需要数据中的层次结构来规定我们在工具链部署中的最佳实践。

可视化商品

MicroStrategy宣布与Tableau,Qlik和Power BI进行合作不仅仅是对竞争对手的让步。事实上,这三种自助商业智能工具现在已经成为行业标准,进一步为其他想在可视化领域大显身手的公司设置了障碍。

他们也对整个行业实现了商品化。在Tableau Public,Qlik Sense Cloud Basic和Power BI Desktop(以及Power BI云服务的免费层)之间,可以免费体验入门级分析功能,随着添加像plotly这样的可视化工具,体验D3生态系统和开源的地理空间/地图平台,你会发现你的分析能力从受时间限制变成了受金钱限制,你需要通过付费来获得更好的产品功能。

如今,用户已经将良好的数据处理能力看作理所当然,他们虽然对此印象深刻,但并不满足于此,好的产品不会具有很明显的竞争优势,但差的产品必然处于竞争劣势。

数据治理

虽然在过去的一段时间里,数据治理技术并未受到应有的重视,但如今也开始获得了一些尊重。欧盟的“通用数据保护条例”(GDPR)就是一个例子-而最终,缺乏足够的治理是今年对有效治理工具需求的一个非常重要的痛点。

即使遵循法规是催化剂,但治理背后还有其他驱动因素。其中最大的一项是数据分类,它们使数据湖中的数据集更有条理,并且更易于发现。数据发现工具可以帮助您通过查看数据库和数据湖,报告其数据内部和数据之间的关系和数据流。从另一个角度来讲,这些工具使数据湖本身更具有可用性,对其投资更加有效。随着公司对前几年投资寻求更好的回报,数据分类和发现工具将越来越受欢迎,进一步推动了治理技术的发展。

云数据湖 =云数据锁定

我们已经谈到了基于云存储的数据湖的发展趋势。但事实是,这不是一个随机出现的有趣的上云案例,这是主要云供应商的中心卖点和销售策略。

在特定的云平台上,你存储的数据越多,你就会在这个平台上针对这些数据做更多的工作,包括但不限于数据准备,分析,预测建模和模型训练(在高端的gpu加速虚拟机上)。云之战是数据存储之战,赢家可能会让你深陷其中。

容器革命

大家都知道,基于Docker的容器技术在数据中心和软件开发领域正在改变一切。这种变革影响巨大且不容小觑。

但是您是否知道数据和分析世界中也在发生着类似的变化?这很难说,因为尽管这种转变不太明显,但它是真实发生的:

MapR已经通过其PACC(持久应用客户端容器)重新定位了融合数据平台

云提供商利用容器技术更快地部署节点,并促进更多资源共享 -从而使临时集群看起来更持久

Hadoop最近刚刚发布了3.0版本,它很快就会支持在Docker容器中运行YARN资源管理器,从而使Hadoop作业代码的依赖项可以根据集群中每个节点上安装的代码而不同。

越来越清楚的是,每个软件供应商,其产品都依赖于其他软件的基础版本,都逐渐意识到容器可以消除版本冲突问题 -为他们和他们的客户。

下一步,做决定

对大趋势进行识别和预测是非常有趣的。那些行业中发生的具体而突出的变化,以及供应商和客户追求的策略,可以帮助您制定自己的发展计划,他们为您的决定提供了依据:你今年要做什么,你不会做什么,以及你合理期待的结果。对于像数据分析这样的创新热点,您需要不断规划您的方案并进行大笔投注,但您也需要采取一定的保障措施。我们希望并相信这七个趋势分析可以帮助您做到这两点。

Bingdata优网助帮汇聚多平台采集的海量数据,通过大数据技术的分析及预测能力为企业提供智能化的数据分析、运营优化、投放决策、精准营销、竞品分析等整合营销服务。

北京优网助帮信息技术有限公司(简称优网助帮)是以大数据为基础,并智能应用于整合营销的大数据公司,隶属于亨通集团。Bingdata是其旗下品牌。优网助帮团队主要来自阿里、腾讯、百度、金山、搜狐及移动、电信、联通、华为、爱立信等著名企业的技术大咖,兼有互联网与通信运营商两种基因,为大数据的算法分析提供强大的技术支撑。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 企业大数据的现状与痛点——《企业大数据实践路线》之一

    企业大数据的现状与痛点——《企业大数据实践路线》之一

    内容分类:1、 企业大数据现状及痛点 2、 大数据对企业的促进作用 3、 解析业务数据的特征 4、 典型技术架构的分析和构建……查看详情

    发布时间:2019.02.25来源:亿信华辰浏览量:4次

  • 数据质量评估体系主要参考以下5个指标

    数据质量评估体系主要参考以下5个指标

    数据质量评估体系主要参考以下指标:,针对不同的信息系统做出定量的数据质量评估,也可根据实际情况,在评估执行中进行取舍。……查看详情

    发布时间:2019.11.07来源:知乎浏览量:6次

  • 提高数据质量的方法

    提高数据质量的方法

    要想真正解决数据质量问题,应该从需求开始,企业往往在定义清楚业务需求后忽略对数据质量的控制,而只对已经产生的数据做检查,然后再将错误数据……查看详情

    发布时间:2019.11.15来源:知乎浏览量:5次

  • 企业何时考虑启动数据治理项目

    企业何时考虑启动数据治理项目

    数据治理应用方面原因有什么,企业信息化建设到了一定程度,开始对数据进行相关的展示、分析、应用等,进一步提高数据对企业统计分析和决策支持的……查看详情

    发布时间:2020.04.08来源:知乎浏览量:2次

  • 大数据时代如何做好数据治理

    大数据时代如何做好数据治理

    企业在建制大数据平台的同时,对进入数据湖的数据进行梳理,并按照数据资产目录的形式对外发布。在发布数据资产之后,则对进出数据湖……查看详情

    发布时间:2018.12.10来源:数据治理浏览量:5次

  • 数据治理——精细科学的政策平衡

    数据治理——精细科学的政策平衡

    数据泄露、滥用、歧视这些负面事件如同天空中的阴霾,不断加深着人们对数据治理的悲观情绪。   的确,这一年被数据泄露贯穿始终,规模日……查看详情

    发布时间:2019.01.08来源:亿信华辰浏览量:4次

  • 侃侃什么是数据资产管理,数据资产到底是什么

    侃侃什么是数据资产管理,数据资产到底是什么

    近几年来,“数据就是资产”的观念已成为共识,大家对数据价值的重视程度与日俱增,数据资产管理也已被众多企业提上日程……查看详情

    发布时间:2020.08.19来源:微信浏览量:2次

  • 赢得数据治理的五个秘诀

    赢得数据治理的五个秘诀

    到目前为止,您已经意识到拥有出色的数据分析策略还需要拥有良好的数据治理策略。毕竟,如果您的数据无法控制,那么您在其上运行的分析在一天结束……查看详情

    发布时间:2019.02.27来源:亿信华辰浏览量:7次

  • 大数据平台应用开发的五个痛点

    大数据平台应用开发的五个痛点

    随着数据利用率的提高和数据共享行为变得频繁,对于大数据平台应用开发来说,如何进行数据交换是每个平台组件都绕不过去的问题。目前大数据平台应……查看详情

    发布时间:2020.08.21来源:知乎浏览量:4次

  • 数据中台如何进行数据治理

    数据中台如何进行数据治理

    数据中台可通过数据需求、数据质量、元数据管理等领域加强数据治理。……查看详情

    发布时间:2020.04.01来源:知乎浏览量:7次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议