强大的数据治理是机器学习成功的关键

发布时间:2019.01.17来源:数据治理浏览量:212次标签:数据治理

人工智能和机器学习这两个术语通常被视为同一枚硬币的两面。尽管如此,虽然ML算法增强了AI功能,并使它们能够进行更多的尖端和智能计算,但还有一层额外的感知不可穿透性,现在它掩盖了机器推理和做出有影响力的决策的能力。
行业专家推测机器学习算法是潜在的“ 黑匣子”,这主要是因为人们对信任生态系统持怀疑态度,因为生态系统对数据合规性和决策过程的透明度有限。
全球数据分析师社区帮助设计了AI或ML驱动的半自动或全自动分析系统。但是,数据质量的核心和经常出现问题可能总是占上风。除此之外,各种各样不同的数据源,巨大的数据量和非结构化数据类型增加了现有的数据管理问题,特别是与数据治理相关的问题。
随着ML的发展势头并继续处于改变组织运作方式的最前沿,谨慎行事可能是明智之举。在缺乏强大的数据治理流程的情况下,允许ML完全接管决策流程的热情有可能释放出一些关键问题 - 不可靠和误导性的信息以及意外的费用开销。
那么我们如何有效地做到这一点:
建立,组织和实施有效且稳健的ML模型的必要性之间的差距是否应该弥合?
我们是否应该满足指数级增长的需求,以及理解和解密这些模型如何工作的需要?
我们如何理解ML算法正在访问和利用的数据?此外,长期持续且往往不可逆转的后果是什么?
数据治理无疑是最合乎逻辑的答案。

作为框架的数据治理定义并帮助实现对任何生态系统中使用的数据的可获得性,可用性,完整性,安全性和有效性的整体管理。


在当今竞争激烈的世界中,每个组织都需要一个精心设计和可持续的数据治理模型,在加强数据治理和不限制机器学习的深远潜力之间取得适当的平衡。
那么数据治理如何影响ML和AI呢?
实施数据治理模型的最初步骤可能是最难的,并且面临最大阻力。数据治理不仅仅是关于合规性,它也是一门可以加速ML工作并使AI成为一种力量的学科:
有什么优点?
数据治理提供了一种朴实无华的直接方法,用于跟踪和保护正确数据的使用,但也可识别数据错误并及时引发危险信号并帮助消除这些错误。
它使组织能够花更少的时间挖掘提供ML算法所需的准确数据源,并将更多时间用于创建和改进AI模型。
数据治理的最大好处是它可以证明数据是可靠且一致的。这是必要的,因为越来越多的组织现在依赖大量数据,做出业务决策,增加运营,创造新业务,并提高盈利能力。
有什么缺点?
      太多的治理可能会受到限制,因为试图控制大量数据的最大缺点之一是忽视业务需求和目标。组织最终可能浪费大量宝贵的时间和资源,通过不重要的数据进行过滤,并最终获得具有重要价值的数据来为ML算法提供支持。
      数据治理模型也可能对数据的处理方式施加限制,并且可能会引起争议,并且通常会限制组织的进展。
ML算法可能发现数据过滤和策划规则过于严格,并且约束可能限制其在现代和动态演进的数据环境中有效执行的固有能力。
      随着ML和AI的使用和范围的发展,以及更新的技术的实施,数据治理将获得更广泛的应用和接受。最近发生的大量高安全性数据违规事件使数据安全成为数据治理工作的重要组成部分。欧盟(EU)关于通用数据保护法规(GDPR)的指令是数据治理措施的一个主要例子,并强化了建立更强大模型的必要性。
       我们还有很长的路要走,以发现ML和AI的完整潜力和企业真正的能力。在一天结束时,在破坏性数据,智能ML算法和快速发展的AI环境的世界中,数据治理是为疯狂提供一些急需方法的唯一方法。



(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 浅析银行业如何做数据治理

    浅析银行业如何做数据治理

    2018年5月,银保监会发布《银行业金融机构数据治理指引》,从数据治理架构、数据管理、数据质量控制、数据价值实现、监督管理等方面规范银行……查看详情

    发布时间:2019.06.14来源:亿信华辰浏览量:226次

  • 谈大数据时代下的数据治理

    谈大数据时代下的数据治理

    2013年被众多的IT人定义为中国的大数据元年,这一年国内的大数据项目开始在交通、电信、金融部门被广泛推动。各大银行对Hadoop的规划……查看详情

    发布时间:2019.01.03来源:亿信华辰浏览量:164次

  • 数据标准管理体系-数据治理基础

    数据标准管理体系-数据治理基础

    目前企业缺乏专业化的信息标准管理流程,部门间缺乏沟通的统一渠道,导致标准变更和发布缺乏制度化要求,容易形成难以清理的问题数据。在短期规划……查看详情

    发布时间:2019.12.25来源:知乎浏览量:264次

  • 如何保证所基于的数据具有高质量?

    如何保证所基于的数据具有高质量?

    基于数据决策的前提是数据可靠且相关,数据必须是“真实可信的”,否则“输出将是误导和无效的”。但是学校所收集的数据可能不完全,或者更新不及……查看详情

    发布时间:2020.10.31来源:知乎浏览量:186次

  • 创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    工业互联网激起能源领域一池春水,新一代信息技术则是其不断发展的加速器。山东能源集团下属临沂矿业集团有限责任公司(以下简称临矿集团)率先在……查看详情

    发布时间:2021.01.29来源:头条浏览量:238次

  • 银行数据治理-数据治理是银行业面对的一个崭新课题

    银行数据治理-数据治理是银行业面对的一个崭新课题

    本书是“银行业信息化丛书”之一,数据治理是银行业面对的一个崭新课题,本书从银行业数据基本概况、数据治理现状,以及银行业数据治理体系、数据……查看详情

    发布时间:2018.11.29来源:数据治理浏览量:242次

  • 为什么企业要实施数据治理?

    为什么企业要实施数据治理?

    目前,业界对这个概念没有统一的标准定义。从本质上来看,数据治理就是对一个机构(企业或政府部门)的数据,从收集融合到分析管理、进行评估、指……查看详情

    发布时间:2020.07.15来源:知乎浏览量:179次

  • 云管理与云治理

    云管理与云治理

    混合云或多云已成为当今组织IT战略的重要组成部分。作为多云战略的一部分,组织需要定义如何在多个云中管理,控制,操作,优化和保护云基础架构……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:261次

  • 提高企业数据质量能做些什么?

    提高企业数据质量能做些什么?

    如今,我们生活在数据时代,各种数字化正在实实在在的改变着企业的日常运营,我们的生活、工作、学习,现在都离不开数据,对于企业来说,数据就是……查看详情

    发布时间:2019.11.01来源:知乎浏览量:196次

  • 如何选择数据治理工具

    如何选择数据治理工具

    有许多场景需要数据治理工具。在严格的行业法规下运营,利用分析软件和/或定期整合关键主题领域的数据的企业将发现自己正在寻找数据治理工具来帮……查看详情

    发布时间:2019.07.04来源:知乎浏览量:180次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议