数据治理的发展历程

  数据治理技术的发展使得其中最好的技术为组织的数据景观提供了完全的透明性，并为业务用户在搜索、访问和应用数据时提供了一种方便快捷的体验。

     它让数据分析有效地服务于企业的任何工作。并且它确保整个数据供应链的信息流和功能的数据生态系统的健康。这些数据管理工作的根本是数据治理，其核心是提供一个组织的数据资产的能见度，加强问责制，并使其能够得到充分利用。

数据治理不是一个新的实践，但它是一个不断发展的实践。今天的数据治理与五年前甚至两年前大不相同。数据治理的发展经历了多年的尝试和错误，以及不断进步的技术。每一次有经验上的失误，每一次就会有对应的进步。这便是数据治理在发展进程中的自我完善。这些解决方案以业务流程自动化为特色，并侧重于提高数据问责制和理解。

在许多组织中，数据治理计划开始于使用电子表格或MicrosoftSharePoint等基本工具的手动文档练习。来自单一业务领域的业务涉众将使用这些简单的工具记录数据定义。并定义部门数据资产的所有权/管理责任。通常，这些实施方案仅限于特定的部门或项目。

在IT部门内，数据治理工作通常是从遵从性的角度关注风险缓解，或者管理和理解技术数据谱系。这有助于用户理解数据是如何随时间移动而转换的，以确保遵企业内部或项目需求的相关规则。

然而，这种数据治理模型隔离了业务单元和IT；并且未能将数据作为关键业务资产加以利用。此外，随着数据量的增长，利用电子表格和SharePoint来记录治理工作很快就变得不可扩展和不可持续。

因此，各企业意识到，他们需要摆脱孤立的方法，将业务和技术数据融合在一起。于是他们没有使用电子表格来记录有关数据的信息，而是采用了供应商提供的面向数据治理的工具。

数据治理工具帮助组织将业务和技术数据合并为单一视图、管理基本谱系，并创建工作流来管理数据资产以提供透明度。这些工具帮助企业为其的数据资产提供业务定义和所有权/管理责任。因此，当组织中的成员对他们的数据有疑问时，他们都知道该访问什么资源去核实。

一开始，这个效果很好。但是，随着大数据栈、流数据和数据湖等新技术的引入，数据量和深度都在增加，这些工具便很快被淘汰了。

诸如GDPR、BCBS 239、CCAR、Solvency II和MiFID等监管要求也更加强调数据。用户开始寻找利用数据的新的创造性的方法。他们越来越希望能够在搜索、请求和访问组织的数据资产时候模仿“Amazon Marketplace”的体验。

目前，新的数据治理技术和完整的数据治理框架解决了传统遗留工具通过利用机器学习、自动化和推荐引擎收集、验证和分析数据所面临的挑战。

其目标是大大减少以往在填充和维护数据治理工具方面的手工工作。此外，现在的工具应该使搜索数据成为业务用户简单而成功的过程。通过提供一个直观易用的界面来定制他们如何消费数据。例如：它模仿亚马逊的客户体验模型，快速方便的购物。

为了实现这些目标，企业必须将数据访问、数据质量和机器学习分析扩展到为其数据需求提供自助服务的业务用户。

目前，按需经济也创造了要求很高的消费者。而数据消费者有同样的特性。业务用户经常需要快速查找、排序和分析数据，因为在节奏快、竞争激烈的商业环境中，洞察的速度至关重要。现代数据治理还可以将以前单独使用的学科结合在一起，使业务用户能够在不需要专门技术知识的情况下对数据做更多的工作。

通过连接可视化数据准备、数据质量、机器学习、治理工作流和仪表板等学科，组织可以授权业务用户执行以前需要IT资源的技术干预和专门知识的功能。

目前的现代数据治理工具允许业务用户利用直观的拖放界面来快速组合数据集。这些工具应用预先打包的数据质量例程而不需要复杂的编码，然后通过应用机器学习算法来分析数据以充实业务用户需求。

最终，业务用户有权快速使用可视化仪表板中的输出，并提供有意义的数据度量，以便作出决策。

向以业务为中心的数据治理模式的发展还需要零代码工作流，具有易于使用的接口和预定义的工作流例程，因此业务用户可以加快新工作流的创建和现有工作流的编辑，而无需依赖编码专业知识。

这有助于向围绕业务用户设计的更加自动化、自给自足的治理框架发展。这将永远是一个持续的过程。

然而，对于那些继续维护和开发数据治理模型的人来说，他们将提高整个企业的效率和盈利能力，并帮其获得竞争优势。