创新者的破局之路:煤炭行业首个集团级数据治理项目落地

发布时间:2021.02.04来源:亿信华辰浏览量:452次标签:数据治理

新挑战孕育新机遇,新机遇孕育新创变。

工业互联网激起能源领域一池春水,新一代信息技术则是其不断发展的加速器。山东能源集团下属临沂矿业集团有限责任公司(以下简称临矿集团)率先在煤炭行业实践大数据建设,响应山东省号召积极开展新旧动能转换,将大数据、云计算、人工智能、工业互联网等技术与企业融合创新,促进企业的精细管理、精准决策、精益运营。

挑战:缺乏健全的数据治理体系


临矿集团是全国煤炭企业50强和山东省重点工业企业之一。2011年划归山东能源集团管理,如今已发展成为一家国内横跨鲁蒙陕甘四省区十余个地市,海外涉足澳大利亚,以煤电、铁矿、玻纤三大产业为支柱,以物流贸易、技术服务、现代农业三大产业为支撑,拥有全资、控股企业21家,后备矿产资源储量200亿吨以上的大型企业集团。

临矿集团于2016年开始建设大数据平台,相继完成集团财务共享、人力共享、设备共享、安全生产、党建平台及大数据平台建设,也面向集团层面建了数据仓库,通过对集团领导与二级单位领导提供云中看板,让领导随时随地了解生产经营信息,及时决策。

但是由于各系统厂商不同,早期也没有健全的数据治理体系,导致在数据使用过程中存在一系列问题:
1、各系统之间,甚至同系统不同表的数据标准不统一,比如存在多套组织机构代码,导致数据关联分析困难。
2、系统设计不规范,缺少审核条件,导致数据质量不够高,存在空值、重复值、误报数据现象。
3、缺乏统一的数据资产管理和数据服务,存在信息孤岛,用数主要靠业务人员自己去业务系统复制粘贴到EXCEL中处理,或者技术人员写SQL查询,数据资产利用效率很低。
4、现有数据仓库还有待完善,尤其是未对原始数据及分析数据进行数据资产编目,业务人员无法获悉企业数据资产,并通过数据分析工具进行分析取数。
5、除了结构化管理数据,煤矿、铁矿等生产企业有海量安全、设备物联网数据,需要对海量实时数据、非结构化数据进行采集和统一存储。

破局:技术和管理双管齐下
为积极响应国家工业互联网、煤矿智能化发展等政策号召,推动集团数字化转型,2019年12月临矿集团选择携手亿信华辰启动“数据治理项目”。

经过临矿集团大数据中心和各业务部门的商讨决策,结合亿信华辰数据治理专家的意见,确定了临矿集团数据治理项目的总体目标为通过涵盖全数据生命周期数据治理,建设涵盖人、财、物、产、供、销、安全等业务领域的集团级大数据资产平台,提供各类数据服务,并实现一线业务人员对数据自助分析应用,完成数据赋能。

项目建设秉承标本兼治原则,严格按照数据治理方法论,管理方面由集团公司高管牵头成立数据治理委员会,制定《临矿集团数据治理项目章程》、《数据资产管理办法》等管理制度;技术方面从基础做起,进行元数据管理、数据标准梳理工作,更重点推进数据质量管控,通过技术层面和管理层面双管齐下,确保集团数据资产质量。

根据项目建设目标,确定项目建设整体框架如下:

图 项目整体框架


经过各方沟通确认项目推进思路如下:

图 项目推进思路


1、开展集团数据治理,提高数据质量,形成数据资产
如何进行数据治理?通过“盘、规、治”的三字规划路线。
盘:建设集团生产经营数据资源目录,资源目录提供服务接口,为一线业务人员生产运营提供数据支撑,实现数据共享,数据交互,充分发挥数据资产价值。

规:建立基于集团生产经营统一的数据标准规范体系,以及更新机制和使用管理制度,形成服务于数据资源全生命周期的标准规范体系,促进多源异构数据的深度融合和共享应用。

治:建立数据质量管控体系,以规范和制度为约束,通过数据质量检测工具根据制定的数据标准检测数据,及时发现数据问题,进行数据治理并提炼相应的数据质量检核规则,防止同类问题的重复发生,有效提升数据整体数据质量,从而保证提供高质量数据资产。

2、赋能企业业务创新,满足生产经营敏捷分析需求
数据治理的最终目的也还是要落到“用”,也就是数据的交换和数据的应用于服务。
在数据应用方面需要充分考虑一线生产部门日常工作繁重、业务需求多变、且对信息化系统操作能力不强等特点,根据生产、安全、运销、采购、库管等业务主题预设分析维度和指标数据,通过敏捷BI软件让业务人员只需最简单的拖拽操作实现数据分析应用,并自动生成各类统计图表,从而提高一线人员数据自助分析应用能力,让数据成为一线呼唤炮火的基础保障,激发全员创新的主观能动性,形成众人划桨开大船的良好局面。

3、建立企业级Hadoop架构大数据平台
由于煤矿信息化系统存在,系统多、数据量大、生成频次高、数据结构各异特点,需要建设基于Hadoop架构的大数据仓库,解决海量半结构化、非结构化数据的实时采集、实时分析。

最终建设涵盖产、供、销、人、财、物的领域生产经营全要素的煤炭企业大数据平台,全面整合各业务系统数据,并针对回采掘进、安全管控、机电管理、运销、采购、财务等业务场景建设数据集市,为管理层和一线业务人员提供有效数据分析支持,逐步实现煤矿生产经营数据化精细运营管控,实现提质增收、降本增效。

标杆:建设试点勇当排头兵
依托于亿信华辰15年大数据行业经验及自主研发的睿治数据治理平台、亿信ABI两套工具,临矿集团最终实现了人力、财务、安全、设备、媒质数据的全数据生命周期治理及应用,包括元数据、数据标准、数据质量、数据资产编目、数据业务部门自助分析等。

临矿集团数据治理项目,不仅得到客户的认可,同时也受到行业的肯定。在2020年,从众多优秀案例的激励竞争中脱颖而出,从一举斩获“星河”数据资产管理优秀案例。

作为煤炭行业第一个集团级数据治理项目,具有行业典型示范效应。把临矿的成功经验推广复制,可以让更多煤炭能源行业的企业树立正确观念,认识到数据治理重要性和必要性,重拾信心投入到企业数字化转型。

临矿集团全力打造慧化能源集团,或成加快建设能源大数据中心的一个缩影。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 企业如何快速实现一个数据治理项目

    企业如何快速实现一个数据治理项目

    大数据治理是诸多数据问题的全面解决之道。企业只有建立了完整的大数据治理体系,保证数据的质量,才能够真正有效地挖掘企业内部的数据价值,对外……查看详情

    发布时间:2020.03.19来源:知乎浏览量:199次

  • 数据治理和流分析的关系

    数据治理和流分析的关系

    借助流分析,可以通过智能数据模型和算法快速处理传入数据,以致在许多情况下,流数据没有机会被存储。与传统的分析过程相比,这是一个重要的变化……查看详情

    发布时间:2021.04.23来源:亿信数据治理知识库浏览量:191次

  • 着力提升工业数据资源管理能力,加快工业互联网创新发展步伐

    着力提升工业数据资源管理能力,加快工业互联网创新发展步伐

    工业互联网是第四次工业革命的重要基石,作为数字化转型的关键支撑力量,正在全球范围不断颠覆传统制造模式、生产组织方式和产业形态,推动传统产……查看详情

    发布时间:2019.03.07来源:数据管理浏览量:222次

  • 深度思考:从BERT看大规模数据的无监督利用

    深度思考:从BERT看大规模数据的无监督利用

    在击败 11 个 NLP 任务的 State-of-the-art 结果之后,BERT 成为了 NLP 界新的里程碑, 同时打开了新的思……查看详情

    发布时间:2019.02.20来源:亿信华辰浏览量:320次

  • 大数据时代企业数据治理应该怎么做?

    大数据时代企业数据治理应该怎么做?

    大数据不是凭空而来的,1981年第一个数据仓库诞生,到现在已经有近40年的历史了,而国内的企业数据平台的建设是从90年代末才开始的,从第……查看详情

    发布时间:2019.08.01来源:知乎浏览量:188次

  • 数据治理对于大数据分析势在必行

    数据治理对于大数据分析势在必行

    数据被定义为“收集在一起以供参考或分析的事实和统计数据。”信息是“关于某事物或某人提供或了解的事实,”这是一个至关重要的信息。“信息治理……查看详情

    发布时间:2018.11.21来源:浏览量:155次

  • 互联网企业数据治理决策要这么建

    互联网企业数据治理决策要这么建

    企业需要协调多个提供和使用数据的参与方之间发生的复杂关系,由于企业缺乏数据治理可能导致数据滥用/误用等破坏性后果,并导致市场失灵。传统的……查看详情

    发布时间:2019.08.19来源:CSDN浏览量:185次

  • 为什么数据成为新的生产要素,怎么理解

    为什么数据成为新的生产要素,怎么理解

    在经济学中,生产要素又称为生产输入,是人们用来生产商品和劳务所必备的基本资源,主要包括土地、劳动、资本、企业家才能和数据。生产要素促进生……查看详情

    发布时间:2020.11.25来源:知乎浏览量:432次

  • 如何搭建企业级主数据管理平台

    如何搭建企业级主数据管理平台

    企业应用系统的构建多是以项目为中心,缺乏自上而下的规划。这样势必会导致企业信息孤岛现象越来越严重。主数据作为企业应用系统中最重要的业务单……查看详情

    发布时间:2022.03.17来源:小亿浏览量:342次

  • 使用数据治理指导数据传输

    使用数据治理指导数据传输

    在过去几年中,我们一直迷恋于大量数据以及我们创建和收集新数据类型和来源的能力。……查看详情

    发布时间:2019.01.16来源:亿信华辰浏览量:179次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议