数据虚拟化 实现大数据的有效管理

发布时间:2019.03.05来源:亿信华辰浏览量:96次标签:数据治理

数据管理

关于在石油天然气的钻探和出产过程中所发生的数据的价值,并没有太多的争议。尽管数字化油田运动的最初意图,是将与设备的监测和维护相关的使命完结自动化,以下降本钱,但它还带来了许多其它的优点。
 

许多职业专家以为,最首要的收益在于:向石油天然气出产制造商展示,假如办理恰当的话,怎么搜集数据才干取得更多有战略含义的数据,而不仅仅是通知油井运转人员,什么时候需求修理或更换老化的设备。
 
实际上,职业界有越来越多的人以为,分布在油田、气田各地的传感器和其它自动化装置所发生的数据,应被视为财物,应该像对该公司最贵重的出产设备或最聪明的工程师相同对待这些数据。
 
高级数字化油田参谋Philippe Flichy就持有这样的观念。他将在石油和天然气钻探和出产过程中所发生的数据,称为“会说话的财物”,他以为这些数据的价值直接取决于怎么办理这些数据。他任职于美国一家为全球石油开发和加工工业供给产品和效劳的大型油田技能效劳公司Baker Hughes。
 
在最近提交给美国石油工程师协会的一篇论文中,Flichy供给了依据来支撑这种观念。论文的题目为《可信数据作为公司财物》,文中征引一项研讨数据标明:假如能够有效的办理数据,石油天然气公司的全体利润能够增厚高达6%。它还在文中提到了壳牌石油公司,指出该公司从多个途径受益于有效的数据办理,包含油井提前投产以及超越预期的出产才能等。
 
尽管这些数据和分析给人留下了深刻的印象,可是依然有例外,由于许多石油天然气制造商在有效的数据办理方面,落后于其它职业。随着大量的信息涌入到日常运营中,许多石油天然气制造商,开始意识到之前是被迫的应对所谓的“大数据”的,现在,它们需求先进的东西来助其应对这些应战。
 
有效数据办理的捷径
 
正如一般所做的,技能供货商现已对这种境况给出了新的解决计划。其间最有期望的是被称之为数据虚拟化的计划,它是一种简化缔造基础设备的办法,以便将大数据转化为有用的信息,并根据这些信息做出正确的事务决议计划。
 
缔造这样的基础设备,需求将整个企业界发生的数据集成起来,使其至少从表面上看起来好像保存在某个中心地址。一旦缔造完结,基础设备就能够为用户(不管他们在企业界的职位、或位置怎么)供给快捷、便利的数据接入,以便在任何给定的时刻,只需作业需求,就可取得这些数据。
 
据Bloor Research公司的研讨总监Phillip Howard介绍,假如需求将多个数据源的数据整合到单一数据渠道,历史上公司有4种计划可供挑选。
 
这些选项包含:
 
●客户集成,包含在需求同享信息的运用之间建立硬编码;
 
●企业运用集成,需求为运用缔造企业效劳总线,创立连接器(一般也是运用硬编码),以便将信息经过总线在彼此之间传递;
 
●数据仿制,或创立多个数据备份,并将其安置在便于拜访的地址;
 
●抽取、传输、装载,将在单个运用中发生的数据总结出来的信息,安置在某一会集数据库中,这样就可供大量用户拜访。
 
上面每一个选项,都是一项杂乱—因而也就是贵重和费时—的使命,这就是为什么除了最大的石油天然气公司之外,大多数公司并没有布置实施的原因。最近几年,即使是大型的出产制造商也现已不再沉迷这些挑选,由于它们中的任何一个都不能供给一种特别有效的挑选大数据的办法。
 
Gartner公司的副总裁Douglas Laney于2001年在一篇介绍大数据的概念论文中提出,商业数据的“3个V”——数据量、速度和品种,正在推进公司去寻觅一种全新的数据办理办法。Laney指出,“电子商务的迸发、并购活动的添加、协作的扩大、以及将信息作为竞争的催化剂,这一切都在推进着企业的高层考虑怎么办理数据。”
 
随着大多数公司发生的数据量正在以指数办法添加,数据办理问题的状况变得愈加严峻。石油和天然气公司看到数据的品种现已扩展到包含来自于数字化油田和各种方式的非结构化数据,比方桌面运用发生的文件、电邮、社交媒体帖子以及影音文件等。
 
状况变化如此巨大,以至于Flichy在2015年发布论文时,改用了“数据的7个V”——添加了可变性、精确性、虚拟化和价值。
 
数据必须是牢靠的
 
在这7个V中,精确是最重要的,由于它涉及到数据的精度。不准确的数据不能被信赖,由于从决议计划拟定东西的角度来讲,没有任何含义。“在石油天然气职业,咱们遇到的最大问题是,人们并不相信数据源,”Flichy说道。“所以他们倾向于自己做。他们从不同的地方找到数据,然后将其整合在一起自己作分析。咱们经常听到人们在评论,工程师要花去大部分时刻来寻觅数据;他们实际上是将时刻花在匹配数据上面了。”
 
为了终止这种循环,Flichy说,“你必须创立仅有的真相,你必须经常这么做,只有人们对数据足够相信时,在运用这些数据作决议计划时才干充满信心。”
 
数据集成被以为是能够供给可信数据的重要来源。可是,很少有石油天然气公司能够付得起这种时刻长、价格高的数据集成工程,尤其是在公司必须办理的数据量急剧添加而石油天然气价格不断下降的时候。这就是为什么比如数据虚拟化的技能大受欢迎的原因。
 
“在4年前,我在Baker Hughes公司作业时,就开始了数据虚拟化工程,” Flichy说,“现在看来,效果显著。”
 
Baker Hughes公司创立了自己的数据虚拟化渠道,并将其命名为“Baker Hughes信息库。”最初,该渠道首要用于确保一切部门能够拜访绝对相同的数据,后来,该渠道现已演化为用于提高功率的东西。根据Flichy的介绍,在渠道的一切运用中,有一个就是对从分布在同一个油田或运转在相似条件下的不同油井取得的数据进行分析。这些分析所带来的成果就是为提高效益低下的油井产出而开发出来的新策略。“咱们是虚拟化的最大支撑者。”Flichy说道。“它将咱们的事务智能化提高到一个新的水平。”
 
减轻数据集成的难度Forrester Research公司将数据虚拟化比作为数据缔造一个面向效劳的架构(SOA)。“传统的SOA办法着力于事务流程,数据虚拟化则将重点放在事务过程所运用的那些数据。”Forrester的分析师Noel Yuhanna说道,“经过把数据从运用平分离开来,并将其存储在中间层,虚拟化很有或许会下降数据集成的困难。”
 
现在,许多技能供货商能够供给数据虚拟化渠道,包含中间层,以及在安排和过滤数据的过程中能够供给帮助的扩展运用。尽管这些渠道的组织随着供货商的不同而有所差异,但它们的终究意图是一致的:从多个数据源中提取各种不同的数据,将其集成到虚拟地址,并以一致、便于拜访的方式展现给用户。
 
布置虚拟数据渠道,能够消除在办理数据过程中大量杂乱的问题,由于该办法能够将数据保留在原始体系中。当用户拜访数据时(一般是经过某种方式的仪表盘或门户),它们经过一系列的指令来请求信息,实际上是经过搜索遍及企业不同区域的各个数据库或资源库,来获取数据位并将其组合在一起,形成对客户查询的呼应。
 
Moray Laing,是事务智能软件供货商SAS有限公司能源职业的咨询师,他也以为数据虚拟化大大下降了数据集成相关的费用,可是他一起也提醒,不能简略的将其视为开发和维护单一可信数据数据源所必须的数据办理的代替计划。
 
“经过主数据办理来维持数据的质量,是保证单一版别数据的现实办法。”Laing说道。“但是,咱们意识到某些主数据办理步骤,比方创立数据仓库,或许需求数年才干完结。数据虚拟化则供给了这种才能,能够顺利的将多个数据源和多种方式的数据集成到单一拜访点,使数据工程师能够减少许多繁重的作业。”
 
建立数据办理员的必要假如想要确保流入到虚拟渠道的数据都具有较好的质量,Flichy以为所需求履行的策略就是在数据源头对数据进行验证。“一旦在源头完结数据验证,那你就能够断定的通知用户,‘这些数据和进入到体系的原始数据是相同的。’然后,假如数据以任何方式移动或修正,那就必须在数据源头对其进行从头验证。”
 
在这种办法中,Flichy主张应该创立一个类似于“数据办理员”的职位。该职位的责任就是担任确保一切的数据,从输入到虚拟渠道前保持不变。
 
Flichy将数据办理员比作博物馆中处理碎片的职工。“他们知道哪些碎片具有最大的价值。”他说到,“关于数据,意识到它的价值,仅仅第一步。第二步就是花更多的精力发现最有价值的部分。假如最有价值的数据呈现退化的痕迹,那必须当即采取办法对其进行修复。”
 
数据虚拟化和数字化油田
 
根据Flichy的说法,石油天然气工业的特性使其成为最理想的扩展数据虚拟化运用以及尝试设置数据办理员岗位的最佳场所。
 
他以为,在石油天然气职业或许比其它任何职业,都更依赖于大量广泛分布的数据。石油和天然气公司也经常为其新油田或工厂设备,装备不同供货商的设备和技能,而它们的产品并不总是易于集成。
 
“尽管职业正在阅历着衰退,但这也从一方面推进着企业想要取得更高功率。”Flichy说。“怎么取得更高的功率?仅仅求助于分析,可是假如不信赖那些数据,那分析也无能为力。”虚拟化则有期望供给一种比传统办法更快、更低本钱的途径来取得可信的数据。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据问题的全面解决之道——数据治理

    数据问题的全面解决之道——数据治理

    当今的大型企业,内部分工日趋细化,采购、服务、市场、销售、开发、支持、物流、财务、人力等各个环节,无不每时每刻产生着大量的数据。……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:74次

  • 数据清理的终极指南——亿信华辰

    数据清理的终极指南——亿信华辰

    我花了几个月的时间分析来自传感器、调查及日志等相关数据。无论我用多少图表,设计多么复杂的算法,结果总是会与预期不同。……查看详情

    发布时间:2019.03.20来源:数据清理浏览量:56次

  • 数据治理:医院要平衡的4个考虑因素

    数据治理:医院要平衡的4个考虑因素

    电子健康倡议基金会,一个专注于质量和安全改进的医疗保健合作,以及LexisNexis Risk Solutions的医疗保健部门,于8月……查看详情

    发布时间:2018.11.27来源:Jessica Kim Cohen浏览量:45次

  • 在AHIMA的医疗保健信息治理框架内

    在AHIMA的医疗保健信息治理框架内

    医疗保健一直在与信息治理斗争。这并不奇怪,考虑到有多少数据以及它来自多少不同的源。美国健康信息管理协会希望改变这种状况。……查看详情

    发布时间:2019.01.15来源:亿信华辰浏览量:70次

  • 试论加强数据治理能力的重要性

    试论加强数据治理能力的重要性

    网络信息资源,是指所有以电子数据形式存储在信息光、磁等非纸质的文字、图像、声音、动画等多种形式的载体中,并通过网络通信、计算机或终端等方……查看详情

    发布时间:2018.12.05来源:网络传播杂志浏览量:71次

  • 数据治理研究述评

    数据治理研究述评

    数据治理是数据科学时代关注的研究课题,对数据治理的概念、体系、内容和应用的相关研究进行述评,以期将数据治理研究引向深入。……查看详情

    发布时间:2019.08.27来源:南京大学信息管理学院浏览量:125次

  • 治理成熟度差距以及如何克服它

    治理成熟度差距以及如何克服它

    了解您在真正的IG成熟度方面的立场,并在自己和团队中识别变革的阻力。不要回避要求定期审核和验尸以评估进度和后续步骤。通过具体信息,您可以……查看详情

    发布时间:2019.03.13来源:亿信华辰浏览量:61次

  • 数据在数字化转型时代的作用

    数据在数字化转型时代的作用

    说今天的商业环境变得极具竞争力可能是轻描淡写的,那些没有不断重塑业务的公司 - 以核心数据 - 最终会在市场中断的同时观望。数据技术,科……查看详情

    发布时间:2019.03.12来源:亿信华辰浏览量:65次

  • 数据治理准备的五大支柱:倡议赞助

    数据治理准备的五大支柱:倡议赞助

    “Facebook是全球数据治理的核心。”3月19日“华尔街日报”的一篇文章总结了我们所处的位置。在通用数据保护法规(GDPR)生效仅两……查看详情

    发布时间:2019.01.24来源:亿信华辰浏览量:69次

  • 什么是数据质量?如何衡量它以获得最佳结果?

    什么是数据质量?如何衡量它以获得最佳结果?

    我们过去谈过很多关于数据质量的问题 - 包括糟糕数据的成本。但是,尽管对数据质量有了基本的了解,但许多人仍然不太了解“质量”究竟是什么意……查看详情

    发布时间:2018.12.25来源:数据治理浏览量:96次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议