2019年的数据管理趋势:治理,DataOps,云

发布时间:2019.01.02来源:亿信华辰浏览量:53次标签:数据治理

GDPR的数据治理要求,对AI驱动的分析的追求以及云计算的拉动为2018年数据管理和大数据团队的努力奠定了基调。这些和相关的数据管理趋势将进一步影响到据行业分析师称,2019年的数据专业人士。


例如,当组织将大数据应用程序投入生产使用时,组织越来越强调数据隐私保护。这是由于去年五月生效的新欧盟隐私法GDPR的出现激发的。由于需要更强大的数据治理,早在6月,GDPR就获得了加利福尼亚州类似意图的州法律的批准。加州消费者隐私法案的合规要求将于2020年初生效。

德克萨斯州普莱诺的麦克奈特咨询集团总裁威廉麦克奈特表示,新法律将数据有效治理作为数据管理人员和公司高管的首要任务。“人们将不得不更好地了解数据沿袭,数据质量和数据访问,”McKnight说。“那些以数据治理为特色的商店在这方面遥遥领先。”

一个更有序的数据湖

即使对于Hadoop数据湖来说,情况也在发生变化,Hadaop数据湖一度被视为可以将未分类的原始数据用于潜在分析用途的地方。

“数据治理的更新影响了数据湖,”McKnight说。“你不能把数据扔到那里,即使这是数据科学家想做的事情。”

他补充说,数据湖的数据治理已经引起了人们对数据目录和元数据标记过程的高度关注。McKnight表示,数据专业人员的角色也正在改变,作为这些举措和其他数据管理趋势的一部分 - 这一变化反映在DataOps的兴起中。

这是DevOps方法的一个分支,旨在简化应用程序开发。McKnight以DataOps的形式指出,数据管理团队致力于维护对数据的一致处理,并确保在推动跨分布式数据架构的全面生产使用时不会留下任何数据。

位于马萨诸塞州Hingham的Eckerson Group的创始人兼首席顾问Wayne Eckerson也指出DataOps是一种新兴的新学科,可能会在2019年变得更加普遍。

“许多用户组织正试图用更敏捷的流程围绕DataOps进行思考,”Eckerson说。“他们正在研究精益版本控制和测试 - 完成所有优秀的软件开发实践并将其应用于数据环境。”

数据管理团队扩展

在他们追求面向DataOps的实践时,数据管理团队也在与业务部门密切合作 - 他们在传统IT架构中的地位也在不断变化。

“我们看到中央IT的持续脱媒和数据团队动态的相关变化,”McKnight说。“许多组织都承认这是一种新的方式,它反映在IT商店的构成上。”

加利福尼亚州蒙特维斯塔的Constellation Research公司分析师Doug Henschen表示,数据管理趋势中值得注意的是,数据管理和分析团队越来越需要协同开发利用AI技术的新型高级分析


Henschen说,在统一的团队中工作是将机器学习和深度学习模型大规模投入生产的关键。这是2018年的趋势,他预计将持续到2019年。

“所需要的是基于团队的方法,它们将数据科学家,数据分析师,数据工程师,开发人员和业务领导者结合在一起,以便通过持续监控和优化将模型大规模嵌入到业务应用程序中,”Henschen说。

对于企业而言,竞争差异化将部分基于他们如何广泛地利用数据和利用尖端的分析技术 - 以及“他们是否能够通过可靠的治理和合规来实现这一目标,”Henschen继续说道。“数据只有值得信赖才有价值。” 他也将数据目录视为一种使数据更易于管理的方式

将云视为数据平台

云计算几乎不是一个新趋势,但它在2018年在数据管理方面达到了一种高潮。云数据库和数据仓库是AWS,IBM,Microsoft和Oracle的技术和收购举措的核心。大数据系统迁移到云端的前景也潜伏在Hadoop供应商Cloudera和Hortonworks 在10月份同意的合并背后。

纽约451 Research的分析师James Curtis表示,Cloudera和Hortonworks都面临技术和业务挑战,因为他们采用云计划,允许用户将Hadoop分布式文件系统(HDFS)换成云对象存储技术。

事实上,在合并宣布时,两家公司都没有大肆宣传Hadoop这个术语,这反映了HDFS和MapReduce处理引擎和编程框架(大数据平台的原始核心组件)的作用减弱。

 “Hadoop中最初的基础处理引擎和文件格式正在被取代。但是,虽然Hadoop将成为不在房间内的大象,但Hadoop所做的并不会消失,”柯蒂斯说。

他补充说,Hadoop有效地做了什么,迎来了开源软件组件的广泛大数据生态系统,并允许用户将不同的处理技术应用于不同的数据工作负载 - 两种数据管理趋势预计会持续或不使用Hadoop本身。

基于云的数据仓库是很久以前首次出现的技术。与大数据系统一样,更多数据仓库向云迁移现在看来也不可避免。

“云是数据仓库的发展方向。唯一的缺点是内部有大量数据,但也有工具,”Eckerson说,指的是可以帮助用户将数据迁移到云端的软件。

Eckerson表示,快速部署,永远在线操作以及更轻松地处理尖端性能的能力是进入云计算的决定性因素。他补充说,越来越多的IT和数据管理团队也很乐意将数据基础架构职责移交给云提供商。

变化:处理它

今年年底和新的开始是用于衡量技术和数据管理趋势的进展或退却的任意分隔符。但麦克奈特说,至关重要的是,各组织应对新的和新兴趋势带来的变化。他预测,在2019年,他们肯定会有更多的东西需要处理。



(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据中台对企业的价值在哪里?

    数据中台对企业的价值在哪里?

    原来我们在做一张报表,或者是在业务系统里面需要查询一个数据结果的时候,它的过程是比较麻烦的,而且它的测试往往也是比较复杂的,因为业务系统……查看详情

    发布时间:2021.01.23来源:知乎浏览量:95次

  • 一张架构图告诉你数据中台如何搭建

    一张架构图告诉你数据中台如何搭建

    当下,刮起了一场数据中台风,立马席卷了大数据行业的各个角落。人人都在谈什么是数据中台,我们需不需要建数据中台,数据中台要怎么建?今天,小……查看详情

    发布时间:2020.10.15来源:数据中台浏览量:76次

  • 数据治理运营:团队

    数据治理运营:团队

    这是关于数据治理运作的两部分系列的第二部分。“ 数据治理运作:差距 ”系列的第一部分讨论了需求是如何产生的,数据治理运营所需的一些主要原……查看详情

    发布时间:2018.11.14来源:Jayakumar Rajaretnam浏览量:67次

  • 浅谈数据质量管理

    浅谈数据质量管理

    随着互联网及数字化技术的飞速发展,我们生活在一个数字化转型的时代,各种数字化正在实实在在的改变着企业的日常运营,以及我们每个人的衣食住行……查看详情

    发布时间:2019.07.26来源:知乎浏览量:84次

  • 企业构建数据中台是否存在一个量化或判断的标准?

    企业构建数据中台是否存在一个量化或判断的标准?

    对这个问题有几种解读,第一种解读是说企业是否要构建自己的数据中台,这个问题有没有标准?以这个问题来讲的话,我们认为所有的企业它都需要数据……查看详情

    发布时间:2021.02.01来源:知乎浏览量:123次

  • 为什么你应该有一个数据治理策略

    为什么你应该有一个数据治理策略

    垃圾进垃圾出。自打孔卡和电传终端以来,这个座右铭一直是真实的。如今,复杂的IT系统同样依赖于高质量的数据,无论是在会计,生产还是商业智能……查看详情

    发布时间:2018.11.22来源:数据治理浏览量:101次

  • 企业架构组织的创新能力如何?

    企业架构组织的创新能力如何?

    回想一下最新的企业架构文章,博客文章,甚至是你读过的职位描述,并算一下至少一次没有提到“创新”的内容?我猜测,“创新”往往被作为有效企业……查看详情

    发布时间:2019.02.26来源:亿信华辰浏览量:93次

  • 2019年IT关注的重点:大数据分析的存储架构

    2019年IT关注的重点:大数据分析的存储架构

    存储行业的技术专家和分析师预测,IT组织将专注于改进其存储架构,以便在2019年更好地利用数据分析、人工智能和物联网。并指出,改进大数据……查看详情

    发布时间:2019.03.26来源:亿信华辰浏览量:65次

  • 数据管理危险:不到一半的MDM计划是有效的

    数据管理危险:不到一半的MDM计划是有效的

    您可能不认为“数据治理”是一个重要的主题。特别是当你的IT预算火灾肆虐或者你计划下周的裁员时。……查看详情

    发布时间:2018.12.29来源:亿信华辰浏览量:67次

  • 高质量的数据一般包括哪些特征?

    高质量的数据一般包括哪些特征?

    ​基于数据决策的前提是数据可靠且相关,数据必须是“真实可信的”,否则“输出将是误导和无效的”。但是企业所收集的数据可能不完全,或者更新不……查看详情

    发布时间:2022.06.09来源:小亿浏览量:2437次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议