数据治理:将数据从源头进行清洗

发布时间:2019.06.20来源:简书浏览量:51次标签:数据治理

数据引发的混乱

数据一切都与技术的集中化有关。数据安全地存储在企业大型机上,只有具备导航预处理数据库技能的程序员才能访问它。差不多四十年后,所有这些都与数据民主化和强大的数据治理战略的需求有关。

数据治理

在当天,业务分析师必须与IT部门联手,因为他们不知道如何导航信息管理系统数据库,即使他们可以也不会被授予访问权限,IT部门打印出月度报告并分发它们。


随着个人计算机的出现,权力的平衡从根本上发生了变化。突然之间,商人可以访问电子表格,并可以创建自己的计算和分析,即使数据仍然大部分无法触及。然后是客户端/服务器计算和急于分散数据,带来了新的可能性,但也因为不同部门使用不同版本的数据而产生混淆。分析师争论谁的版本是正确的。分析现在可以由业务分析师完成,但未就数据源的合法性达成一致,随之而来的是混乱。


数据治理带来曙光

IT部门使用数据仓库进行响应,数据仓库会在断开连接的交易系统中收集数据,仅用于分析。出现了聪明的报告工具,可以更容易地操作,加入和汇总原始交易表,甚至可以将它们下载到电子表格中。当然,原始数据仍然存储在不同的应用程序和格式中,但是通过足够的努力,数据仓库可以被用来以理解所有这些,提供客户,产品,资产和位置等维度。但是,要实际生成一致的客户和产品列表,必须解决底层系统的不一致问题。


主数据管理(MDM)诞生了,与此同时,还需要数据治理策略。业务用户被鼓励或哄骗决定哪些客户和产品的分类是“黄金记录”,要在整个企业中高举,哪些将被投入到部门特定的本地术语的荒野中。这是一个经常激烈的过程,不同的部门争论哪个是分类数据的最佳方式。一些公司文化比其他文化更适合这种方法。高度集中的公司习惯于从高度但分散的方式决定结构,并且努力保持在数据治理结构中。这些公司的分析师认为自己是自由战士,而中央办公室的分析人员则认为他们是数据恐怖分子。


很明显,至少在很多公司中,自由战士现在方兴未艾。这标志着数据准备工具的市场不断增长。这些产品能够访问来自各种来源的数据,包括传统数据库,应用程序包,Excel或企业防火墙外的应用程序。它们支持一些数据质量技术,例如分析,并使业务用户能够设置数据转换,并通过可重复的工作流程自动执行此类提取,数据清理和转换。这些工具拥有自己的分析工具,或者可以调用最新的可视化和数据挖掘产品,使分析师能够根据自己的内容处理数据。


如果企业数据仓库和MDM正在开展工作,那么这样的市场就不会存在。数据准备,质量检查和转换正是准备将数据输入数据仓库的准备。问题是公司数据仓库已超出其自然限制。数据现在来自各种各样的来源,其中许多来自企业之外,并且在这样的数量中,传统的数据管理方法正在崩溃。


电子商务系统可以生成如此大小的网络流量日志,使得普通数据库不能处理该处理。车辆和机械上的传感器现在产生大量的流数据:波音787每次飞行产生几乎1TB的数据。在其他行业中也是如此,汽车,家庭智能电表甚至道路上的传感器都会产生大量数据进行分析。所有这些都是传统企业数据的补充,以及来自业务合作伙伴和数据经纪人的数据。有这么多数据出现在你面前,谁有时间讨论不同客户分类层次结构的优点?


公司需要以某种方式收回对这种快速流动的数据流的控制,如果他们要理解它的话。如果没有办法深入了解并深入了解数据湖泊,数据湖泊将成为数据沼泽。数据治理策略可能不是一个感性的主题,但它是需要发生的事情的核心。那些使用新工具构建自己的提取和转换的分析师需要帮助决定如何管理数据,因为如果你不能就底层数据是否值得信任达成一致,所有漂亮的图表和AI工具都没有任何意义。


在没有某种结构的情况下,我们将回到过去,分析师互相争吵,并争论谁的数据是正确的。将数据精灵放回瓶子中将是困难的并且需要纪律,但是在所有太多的组织中,现在感觉混乱而不是管理。它不是要从高层实施规则,而是要在整个组织层面嵌入分析和数据管理规则。否则,可能会忽略有价值的业务见解,并失去竞争优势。

数据治理

WHY→HOW

既然我们已经知道了数据治理对于现在这样一个数据大爆炸的时代有这么重要,那么其实作为企业要想在公司前进的每一步都走得稳走得准,那么就要求公司在每一个决策上面都要做好准备,而决策—这样一个有着太多不确定因素的决定,要想降低其的不稳定性,那么就要将其建立在可靠的数据分析上面。试问利用“浑浊”的数据做出来的数据分析能否支持公司高层,让其做出更安全更有效的决策呢?


答案是否定的!
那么怎么去做数据治理呢?利用公司的研发部门去在很短的时间里面上线一款适合自己公司的数据治理工具吗?这种费时费力的事情不适合大多数公司来进行,因为对于他们来说集中精力于自己公司所属于的方向是极其重要的,那么选择一款适合企业自身的数据治理工具就极其重要了!
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 微软收购BlueTalon以支持数据治理产品

    微软收购BlueTalon以支持数据治理产品

    微软今天宣布收购BlueTalon,这是一家总部位于加利福尼亚州雷德伍德市的跨平台数据访问控制解决方案提供商,收购金额不详。Azure ……查看详情

    发布时间:2019.08.02来源:知乎浏览量:48次

  • 数据治理加速企业数字化转型

    数据治理加速企业数字化转型

    现在大家都在说一个概念,银行有3.0时代,数据也有3.0时代,3.0时代在不同地域里都有不同的诉求,数字3.0时代是什么?概念并不新,从……查看详情

    发布时间:2019.08.02来源:企业网浏览量:46次

  • 2021数据治理如何让数据产生价值

    2021数据治理如何让数据产生价值

    众所周知,2020年新冠疫情爆发以来,“健康码”已常态化的出现在大家的日常生活中,这个全民参与其中的数字化疫情防控手段背后正是“数据治理……查看详情

    发布时间:2021.04.14来源:亿信数据治理知识库浏览量:54次

  • 数据治理的概念、难点和最佳实践方法

    数据治理的概念、难点和最佳实践方法

    数字化转型的目的和核心是数据赋能业务,通过智能数据归一、数据统一治理与服务、数据实体化融合、数据资产化的方式,帮助实现业务转型、创新和增……查看详情

    发布时间:2021.08.06来源:亿信华辰,数据治理的实践方法浏览量:40次

  • 如何保证数据质量?针对性业务方面的数据质量如何提升

    如何保证数据质量?针对性业务方面的数据质量如何提升

    平时企业都会处理数据质量的问题,越来越能够懂得数据库整套系统的运行模式和模型概念,深深觉得数据挖掘的本质其实不仅仅是从海量的数据中发现有……查看详情

    发布时间:2019.11.15来源:知乎浏览量:50次

  • 营造“三大环境” 让数据说话 靠数据管理

    营造“三大环境” 让数据说话 靠数据管理

    《中国市场监管研究》:最近,江苏省工商局陆续发布消费环境指数、竞争环境指数、准入环境指数的研究报告,从领导批示、专家意见、社会反应来看,……查看详情

    发布时间:2019.02.15来源:数据管理浏览量:48次

  • 数据中台与数据仓库相比的四大优势

    数据中台与数据仓库相比的四大优势

    数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。因此,其重点在于数据的集合。数据仓库可使用维度建……查看详情

    发布时间:2020.11.21来源:知乎浏览量:34次

  • 数字化时代的大数据治理应该怎么做呢?

    数字化时代的大数据治理应该怎么做呢?

    随着时代的发展,各个企业收集数据的渠道越来越多样化,也有越来越多的企业开始应用大数据来创造价值,为了合理有效的挖掘数据资源来源的价值,首……查看详情

    发布时间:2019.07.17来源:知乎浏览量:50次

  • 企业为什么要实施数据治理项目

    企业为什么要实施数据治理项目

    目前业界并没有对其概念的统一标准定义,我们可以这么认为,数据治理从本质上看就是对一个机构(企业或政府部门)的数据从收集融合到分析管理和利……查看详情

    发布时间:2020.04.09来源:知乎浏览量:32次

  • 2019年需要关注的三个治理趋势

    2019年需要关注的三个治理趋势

    通过精心应用RPA,优先考虑数据质量,并迎合不断变化的劳动力构成,数据专业人员可以有效地指导他们的组织进入数据驱动的未来。……查看详情

    发布时间:2018.12.20来源:亿信华辰浏览量:33次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议