2019年的数据管理趋势：治理，DataOps，云

GDPR的数据治理要求，对AI驱动的分析的追求以及云计算的拉动为2018年数据管理和大数据团队的努力奠定了基调。这些和相关的数据管理趋势将进一步影响到据行业分析师称，2019年的数据专业人士。

例如，当组织将大数据应用程序投入生产使用时，组织越来越强调数据隐私保护。这是由于去年五月生效的新欧盟隐私法GDPR的出现所激发的。由于需要更强大的数据治理，早在6月，GDPR就获得了加利福尼亚州类似意图的州法律的批准。加州消费者隐私法案的合规要求将于2020年初生效。

德克萨斯州普莱诺的麦克奈特咨询集团总裁威廉麦克奈特表示，新法律将数据的有效治理作为数据管理人员和公司高管的首要任务。“人们将不得不更好地了解数据沿袭，数据质量和数据访问，”McKnight说。“那些以数据治理为特色的商店在这方面遥遥领先。”

一个更有序的数据湖

即使对于Hadoop数据湖来说，情况也在发生变化，Hadaop数据湖一度被视为可以将未分类的原始数据用于潜在分析用途的地方。

“数据治理的更新影响了数据湖，”McKnight说。“你不能把数据扔到那里，即使这是数据科学家想做的事情。”

他补充说，数据湖的数据治理已经引起了人们对数据目录和元数据标记过程的高度关注。McKnight表示，数据专业人员的角色也正在改变，作为这些举措和其他数据管理趋势的一部分 - 这一变化反映在DataOps的兴起中。

这是DevOps方法的一个分支，旨在简化应用程序开发。McKnight以DataOps的形式指出，数据管理团队致力于维护对数据的一致处理，并确保在推动跨分布式数据架构的全面生产使用时不会留下任何数据。

位于马萨诸塞州Hingham的Eckerson Group的创始人兼首席顾问Wayne Eckerson也指出DataOps是一种新兴的新学科，可能会在2019年变得更加普遍。

“许多用户组织正试图用更敏捷的流程围绕DataOps进行思考，”Eckerson说。“他们正在研究精益版本控制和测试 - 完成所有优秀的软件开发实践并将其应用于数据环境。”

数据管理团队扩展

在他们追求面向DataOps的实践时，数据管理团队也在与业务部门密切合作 - 他们在传统IT架构中的地位也在不断变化。

“我们看到中央IT的持续脱媒和数据团队动态的相关变化，”McKnight说。“许多组织都承认这是一种新的方式，它反映在IT商店的构成上。”

加利福尼亚州蒙特维斯塔的Constellation Research公司分析师Doug Henschen表示，数据管理趋势中值得注意的是，数据管理和分析团队越来越需要协同开发利用AI技术的新型高级分析。

Henschen说，在统一的团队中工作是将机器学习和深度学习模型大规模投入生产的关键。这是2018年的趋势，他预计将持续到2019年。

“所需要的是基于团队的方法，它们将数据科学家，数据分析师，数据工程师，开发人员和业务领导者结合在一起，以便通过持续监控和优化将模型大规模嵌入到业务应用程序中，”Henschen说。

对于企业而言，竞争差异化将部分基于他们如何广泛地利用数据和利用尖端的分析技术 - 以及“他们是否能够通过可靠的治理和合规来实现这一目标，”Henschen继续说道。“数据只有值得信赖才有价值。” 他也将数据目录视为一种使数据更易于管理的方式。

将云视为数据平台

云计算几乎不是一个新趋势，但它在2018年在数据管理方面达到了一种高潮。云数据库和数据仓库是AWS，IBM，Microsoft和Oracle的技术和收购举措的核心。大数据系统迁移到云端的前景也潜伏在Hadoop供应商Cloudera和Hortonworks 在10月份同意的合并背后。

纽约451 Research的分析师James Curtis表示，Cloudera和Hortonworks都面临技术和业务挑战，因为他们采用云计划，允许用户将Hadoop分布式文件系统（HDFS）换成云对象存储技术。

事实上，在合并宣布时，两家公司都没有大肆宣传Hadoop这个术语，这反映了HDFS和MapReduce处理引擎和编程框架（大数据平台的原始核心组件）的作用减弱。

 “Hadoop中最初的基础处理引擎和文件格式正在被取代。但是，虽然Hadoop将成为不在房间内的大象，但Hadoop所做的并不会消失，”柯蒂斯说。

他补充说，Hadoop有效地做了什么，迎来了开源软件组件的广泛大数据生态系统，并允许用户将不同的处理技术应用于不同的数据工作负载 - 两种数据管理趋势预计会持续或不使用Hadoop本身。

基于云的数据仓库是很久以前首次出现的技术。与大数据系统一样，更多数据仓库向云迁移现在看来也不可避免。

“云是数据仓库的发展方向。唯一的缺点是内部有大量数据，但也有工具，”Eckerson说，指的是可以帮助用户将数据迁移到云端的软件。

Eckerson表示，快速部署，永远在线操作以及更轻松地处理尖端性能的能力是进入云计算的决定性因素。他补充说，越来越多的IT和数据管理团队也很乐意将数据基础架构职责移交给云提供商。

变化：处理它

今年年底和新的开始是用于衡量技术和数据管理趋势的进展或退却的任意分隔符。但麦克奈特说，至关重要的是，各组织应对新的和新兴趋势带来的变化。他预测，在2019年，他们肯定会有更多的东西需要处理。