数据治理:将数据从源头进行清洗

发布时间:2019.06.20来源:简书浏览量:6次标签:数据治理

数据引发的混乱

数据一切都与技术的集中化有关。数据安全地存储在企业大型机上,只有具备导航预处理数据库技能的程序员才能访问它。差不多四十年后,所有这些都与数据民主化和强大的数据治理战略的需求有关。

数据治理

在当天,业务分析师必须与IT部门联手,因为他们不知道如何导航信息管理系统数据库,即使他们可以也不会被授予访问权限,IT部门打印出月度报告并分发它们。


随着个人计算机的出现,权力的平衡从根本上发生了变化。突然之间,商人可以访问电子表格,并可以创建自己的计算和分析,即使数据仍然大部分无法触及。然后是客户端/服务器计算和急于分散数据,带来了新的可能性,但也因为不同部门使用不同版本的数据而产生混淆。分析师争论谁的版本是正确的。分析现在可以由业务分析师完成,但未就数据源的合法性达成一致,随之而来的是混乱。


数据治理带来曙光

IT部门使用数据仓库进行响应,数据仓库会在断开连接的交易系统中收集数据,仅用于分析。出现了聪明的报告工具,可以更容易地操作,加入和汇总原始交易表,甚至可以将它们下载到电子表格中。当然,原始数据仍然存储在不同的应用程序和格式中,但是通过足够的努力,数据仓库可以被用来以理解所有这些,提供客户,产品,资产和位置等维度。但是,要实际生成一致的客户和产品列表,必须解决底层系统的不一致问题。


主数据管理(MDM)诞生了,与此同时,还需要数据治理策略。业务用户被鼓励或哄骗决定哪些客户和产品的分类是“黄金记录”,要在整个企业中高举,哪些将被投入到部门特定的本地术语的荒野中。这是一个经常激烈的过程,不同的部门争论哪个是分类数据的最佳方式。一些公司文化比其他文化更适合这种方法。高度集中的公司习惯于从高度但分散的方式决定结构,并且努力保持在数据治理结构中。这些公司的分析师认为自己是自由战士,而中央办公室的分析人员则认为他们是数据恐怖分子。


很明显,至少在很多公司中,自由战士现在方兴未艾。这标志着数据准备工具的市场不断增长。这些产品能够访问来自各种来源的数据,包括传统数据库,应用程序包,Excel或企业防火墙外的应用程序。它们支持一些数据质量技术,例如分析,并使业务用户能够设置数据转换,并通过可重复的工作流程自动执行此类提取,数据清理和转换。这些工具拥有自己的分析工具,或者可以调用最新的可视化和数据挖掘产品,使分析师能够根据自己的内容处理数据。


如果企业数据仓库和MDM正在开展工作,那么这样的市场就不会存在。数据准备,质量检查和转换正是准备将数据输入数据仓库的准备。问题是公司数据仓库已超出其自然限制。数据现在来自各种各样的来源,其中许多来自企业之外,并且在这样的数量中,传统的数据管理方法正在崩溃。


电子商务系统可以生成如此大小的网络流量日志,使得普通数据库不能处理该处理。车辆和机械上的传感器现在产生大量的流数据:波音787每次飞行产生几乎1TB的数据。在其他行业中也是如此,汽车,家庭智能电表甚至道路上的传感器都会产生大量数据进行分析。所有这些都是传统企业数据的补充,以及来自业务合作伙伴和数据经纪人的数据。有这么多数据出现在你面前,谁有时间讨论不同客户分类层次结构的优点?


公司需要以某种方式收回对这种快速流动的数据流的控制,如果他们要理解它的话。如果没有办法深入了解并深入了解数据湖泊,数据湖泊将成为数据沼泽。数据治理策略可能不是一个感性的主题,但它是需要发生的事情的核心。那些使用新工具构建自己的提取和转换的分析师需要帮助决定如何管理数据,因为如果你不能就底层数据是否值得信任达成一致,所有漂亮的图表和AI工具都没有任何意义。


在没有某种结构的情况下,我们将回到过去,分析师互相争吵,并争论谁的数据是正确的。将数据精灵放回瓶子中将是困难的并且需要纪律,但是在所有太多的组织中,现在感觉混乱而不是管理。它不是要从高层实施规则,而是要在整个组织层面嵌入分析和数据管理规则。否则,可能会忽略有价值的业务见解,并失去竞争优势。

数据治理

WHY→HOW

既然我们已经知道了数据治理对于现在这样一个数据大爆炸的时代有这么重要,那么其实作为企业要想在公司前进的每一步都走得稳走得准,那么就要求公司在每一个决策上面都要做好准备,而决策—这样一个有着太多不确定因素的决定,要想降低其的不稳定性,那么就要将其建立在可靠的数据分析上面。试问利用“浑浊”的数据做出来的数据分析能否支持公司高层,让其做出更安全更有效的决策呢?


答案是否定的!
那么怎么去做数据治理呢?利用公司的研发部门去在很短的时间里面上线一款适合自己公司的数据治理工具吗?这种费时费力的事情不适合大多数公司来进行,因为对于他们来说集中精力于自己公司所属于的方向是极其重要的,那么选择一款适合企业自身的数据治理工具就极其重要了!
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据管理与数据治理的区别

    数据管理与数据治理的区别

    数据管理和数据治理有很多地方是互相重叠的,它们都围绕数据这个领域展开,因此这两个术语经常被混为一谈。此外,每当人们提起数据管理和数据治理……查看详情

    发布时间:2019.08.27来源:DAMS浏览量:5次

  • 数据治理—各种规模银行的增长之路

    数据治理—各种规模银行的增长之路

    银行看到修复数据问题的成本显着上升。无论是建立集成能力以应对老化技术的直接费用,还是监管机构或审计师发现数据问题和评估民事罚款的间接费用……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:2次

  • 治理和管理

    治理和管理

    以问责制为重点的数据管理定义是“确保数据相关工作根据通过治理建立的政策和实践来执行的一系列活动。”……查看详情

    发布时间:2019.03.18来源:亿信华辰浏览量:6次

  • 定义数据治理:什么是数据治理?

    定义数据治理:什么是数据治理?

    数据治理(DG)是增长最快的学科之一,但在定义数据治理时,许多组织都在努力。……查看详情

    发布时间:2019.01.23来源:亿信华辰浏览量:8次

  • 什么是数据孤岛?为什么要消除数据孤岛?

    什么是数据孤岛?为什么要消除数据孤岛?

    数据孤岛通常具有负面含义。它描述了孤立的数据岛,数据孤岛通常存在以下问题:1.由于代码较旧或不兼容而无法以编程方式与其他系统一起工作2.……查看详情

    发布时间:2021.05.28来源:亿信数据治理知识库浏览量:11次

  • 数据管理与数据治理的区别

    数据管理与数据治理的区别

    当我们谈数据资产管理时,我们究竟在谈什么?就目前而言,我们谈论得最多的非数据管理和数据治理这两个概念莫属。但是对于这两个概念,两者的准确……查看详情

    发布时间:2018.09.13来源:浏览量:5次

  • 企业数字化转型面临的挑战

    企业数字化转型面临的挑战

    来自调研机构Gartner的预测也显示,到2020年,多数企业将有75%的业务实现数字化或正在数字化。数字化转型已经成为企业发展的必经之……查看详情

    发布时间:2020.04.03来源:知乎浏览量:2次

  • 新模型:组合投资组合管理和数据治理建议

    新模型:组合投资组合管理和数据治理建议

    通常,组织决定不让投资组合管理网守优先/授权所有来自治理主导的问题分析的建议。因此,创建了一个新模型,第三个存储桶。……查看详情

    发布时间:2019.03.29来源:亿信华辰浏览量:5次

  • 数据交换如何“主动出击”?

    数据交换如何“主动出击”?

    传统的数据交换,一般说来是用户根据自身的数据抽取需求,配置好相关的设置,定义好数据抽取时间来进行数据交换。这是一种被动式的数据交换,如果……查看详情

    发布时间:2020.09.27来源:头条浏览量:6次

  • 从数据中台到AI中台

    从数据中台到AI中台

    企业对数据的利用有三个阶段:响应运营,响应业务,创造业务。数据中台解决的是响应业务的问题,第三阶段“创造业务”,则需要AI中台。1、数据……查看详情

    发布时间:2019.03.14来源:亿信华辰浏览量:3次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议