2019年的数据管理趋势:治理,DataOps,云

发布时间:2019.01.02来源:亿信华辰浏览量:1次标签:数据治理

GDPR的数据治理要求,对AI驱动的分析的追求以及云计算的拉动为2018年数据管理和大数据团队的努力奠定了基调。这些和相关的数据管理趋势将进一步影响到据行业分析师称,2019年的数据专业人士。


例如,当组织将大数据应用程序投入生产使用时,组织越来越强调数据隐私保护。这是由于去年五月生效的新欧盟隐私法GDPR的出现激发的。由于需要更强大的数据治理,早在6月,GDPR就获得了加利福尼亚州类似意图的州法律的批准。加州消费者隐私法案的合规要求将于2020年初生效。

德克萨斯州普莱诺的麦克奈特咨询集团总裁威廉麦克奈特表示,新法律将数据有效治理作为数据管理人员和公司高管的首要任务。“人们将不得不更好地了解数据沿袭,数据质量和数据访问,”McKnight说。“那些以数据治理为特色的商店在这方面遥遥领先。”

一个更有序的数据湖

即使对于Hadoop数据湖来说,情况也在发生变化,Hadaop数据湖一度被视为可以将未分类的原始数据用于潜在分析用途的地方。

“数据治理的更新影响了数据湖,”McKnight说。“你不能把数据扔到那里,即使这是数据科学家想做的事情。”

他补充说,数据湖的数据治理已经引起了人们对数据目录和元数据标记过程的高度关注。McKnight表示,数据专业人员的角色也正在改变,作为这些举措和其他数据管理趋势的一部分 - 这一变化反映在DataOps的兴起中。

这是DevOps方法的一个分支,旨在简化应用程序开发。McKnight以DataOps的形式指出,数据管理团队致力于维护对数据的一致处理,并确保在推动跨分布式数据架构的全面生产使用时不会留下任何数据。

位于马萨诸塞州Hingham的Eckerson Group的创始人兼首席顾问Wayne Eckerson也指出DataOps是一种新兴的新学科,可能会在2019年变得更加普遍。

“许多用户组织正试图用更敏捷的流程围绕DataOps进行思考,”Eckerson说。“他们正在研究精益版本控制和测试 - 完成所有优秀的软件开发实践并将其应用于数据环境。”

数据管理团队扩展

在他们追求面向DataOps的实践时,数据管理团队也在与业务部门密切合作 - 他们在传统IT架构中的地位也在不断变化。

“我们看到中央IT的持续脱媒和数据团队动态的相关变化,”McKnight说。“许多组织都承认这是一种新的方式,它反映在IT商店的构成上。”

加利福尼亚州蒙特维斯塔的Constellation Research公司分析师Doug Henschen表示,数据管理趋势中值得注意的是,数据管理和分析团队越来越需要协同开发利用AI技术的新型高级分析


Henschen说,在统一的团队中工作是将机器学习和深度学习模型大规模投入生产的关键。这是2018年的趋势,他预计将持续到2019年。

“所需要的是基于团队的方法,它们将数据科学家,数据分析师,数据工程师,开发人员和业务领导者结合在一起,以便通过持续监控和优化将模型大规模嵌入到业务应用程序中,”Henschen说。

对于企业而言,竞争差异化将部分基于他们如何广泛地利用数据和利用尖端的分析技术 - 以及“他们是否能够通过可靠的治理和合规来实现这一目标,”Henschen继续说道。“数据只有值得信赖才有价值。” 他也将数据目录视为一种使数据更易于管理的方式

将云视为数据平台

云计算几乎不是一个新趋势,但它在2018年在数据管理方面达到了一种高潮。云数据库和数据仓库是AWS,IBM,Microsoft和Oracle的技术和收购举措的核心。大数据系统迁移到云端的前景也潜伏在Hadoop供应商Cloudera和Hortonworks 在10月份同意的合并背后。

纽约451 Research的分析师James Curtis表示,Cloudera和Hortonworks都面临技术和业务挑战,因为他们采用云计划,允许用户将Hadoop分布式文件系统(HDFS)换成云对象存储技术。

事实上,在合并宣布时,两家公司都没有大肆宣传Hadoop这个术语,这反映了HDFS和MapReduce处理引擎和编程框架(大数据平台的原始核心组件)的作用减弱。

 “Hadoop中最初的基础处理引擎和文件格式正在被取代。但是,虽然Hadoop将成为不在房间内的大象,但Hadoop所做的并不会消失,”柯蒂斯说。

他补充说,Hadoop有效地做了什么,迎来了开源软件组件的广泛大数据生态系统,并允许用户将不同的处理技术应用于不同的数据工作负载 - 两种数据管理趋势预计会持续或不使用Hadoop本身。

基于云的数据仓库是很久以前首次出现的技术。与大数据系统一样,更多数据仓库向云迁移现在看来也不可避免。

“云是数据仓库的发展方向。唯一的缺点是内部有大量数据,但也有工具,”Eckerson说,指的是可以帮助用户将数据迁移到云端的软件。

Eckerson表示,快速部署,永远在线操作以及更轻松地处理尖端性能的能力是进入云计算的决定性因素。他补充说,越来越多的IT和数据管理团队也很乐意将数据基础架构职责移交给云提供商。

变化:处理它

今年年底和新的开始是用于衡量技术和数据管理趋势的进展或退却的任意分隔符。但麦克奈特说,至关重要的是,各组织应对新的和新兴趋势带来的变化。他预测,在2019年,他们肯定会有更多的东西需要处理。



(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据质量对区块链的重要性

    数据质量对区块链的重要性

    区块链应该显着提高数据质量。所有这些都与所有权有关,他指出 - 无论是金钱,房地产还是其他任何东西 - 以及它的转移,以及如何记录这些数……查看详情

    发布时间:2019.02.20来源:亿信华辰浏览量:2次

  • 人人都说大数据,那你知道它的核心价值吗?

    人人都说大数据,那你知道它的核心价值吗?

    近些年来,大数据已成为了大家茶余饭后讨论的热门话题,像数据安全、数据挖掘、数据分析等围绕大数据的一系列技术也深受市场的喜爱。那么,在这样……查看详情

    发布时间:2019.03.28来源:亿信华辰浏览量:3次

  • 从数据治理看医疗大数据的发展

    从数据治理看医疗大数据的发展

    《从数据治理看医疗大数据的发展》主要分享医疗大数据中数据治理的重要性,并结合具体案例来讲述大数据治理的框架和应用心得。……查看详情

    发布时间:2019.02.25来源:网络大数据浏览量:1次

  • 数据治理的血缘分析

    数据治理的血缘分析

    数据治理里经常提到的一个词就是血缘分析,血缘分析是保证数据融合(聚合)的一个手段,通过血缘分析实现数据融合处理的可追溯。……查看详情

    发布时间:2019.11.22来源:CSDN浏览量:3次

  • 什么是数据治理?

    什么是数据治理?

    可用性指数据可用、可信且有质量保证,不会因为分析结果的准确性造成偏差,从业者可以放心地根据数据结果做业务决策;完整性分为两个方面,一方面……查看详情

    发布时间:2019.11.01来源:知乎浏览量:3次

  • 当今困扰企业的三个最常见的数据问题

    当今困扰企业的三个最常见的数据问题

    各组织都在发生数据危机。虽然存在缺陷,但传统的数据管理方法(ETL和MDM)运行良好,因此可以产生一些数据感。但是数据收集的增长速度远远……查看详情

    发布时间:2019.02.13来源:企业浏览量:2次

  • 数据治理对于大数据分析势在必行

    数据治理对于大数据分析势在必行

    数据被定义为“收集在一起以供参考或分析的事实和统计数据。”信息是“关于某事物或某人提供或了解的事实,”这是一个至关重要的信息。“信息治理……查看详情

    发布时间:2018.11.21来源:浏览量:1次

  • “数据法治化治理”应平衡安全与发展

    “数据法治化治理”应平衡安全与发展

    数据治理的法治化问题,即对数据治理主体的权利义务的设定及其关系模式之制度安排,应符合法治主义要求。“数据法治化治理”要特别关注合法性。……查看详情

    发布时间:2019.08.02来源:中国人民大学未来法治研究院浏览量:1次

  • 数据治理的定义:什么是数据治理?

    数据治理的定义:什么是数据治理?

    数据治理(DG)是增长最快的学科之一,但在定义数据治理方面,许多组织都在努力。 Dataversity称DG是“有助于确保组织内数据资……查看详情

    发布时间:2018.11.15来源:Zak Cole浏览量:2次

  • 数据资产管理领域重要的三个方向

    数据资产管理领域重要的三个方向

    数据资产管理领域重要的三个方向包括:资产分析、资产治理、资产应用,并需要基于这三个方向的技术研究和实战,将流程、经验、标准和规范等产品化……查看详情

    发布时间:2020.11.06来源:知乎浏览量:1次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议