大数据应用与治理
发布时间:2019.03.08来源:亿信华辰浏览量:110次标签:数据治理
不可否认的是,大数据产业很快就要迎来自己的爆发期。经过几年基础建设的培育,技术层面已基本可以满足相关应用,所以行业人士也普遍达成共识,接下来几年,只要找到更多合适的应用落地,大数据产业在应用层面的市场规模,会迎来非常高速的增长。那么,大数据技术如今发展情况如何?在应用过程中,是否还有一些治理相关的问题等待着解决?
8000亿市场规模
2017年,中国大数据产业规模达到4700亿元,今年预计超过6000亿元,预计到2020年将超过8000亿元。而在2014年,中国大数据产业市场规模仅在767亿元,这就是目前国内大数据产业的发展速度。《十三五规划纲要》中明确提出,要实施国家大数据战略,这也让大数据产业年均复合增长率保持在30%左右。
从现在市场来看,无论存量还是潜在增量市场,对于大数据应用资金的主要来源,仍以“国字头”机构为主,比如政府、事业单位、国企等机构。这也主要因为,相比中小企业来说,经过几十年发展,大企业对精细化管理、市场未来精准预判都有非常旺盛的需求。而且从现实角度来说,相比之下,这些企业也拥有很多中小企业不能比拟的数据资源与资金实力。甚至有很多从业者认为,今后很长一段时间,“国字头”机构仍会是大数据市场的消费主体。
大数据技术在应用方面都有了哪些成熟案例?《大数据应用蓝皮书:中国大数据应用发展报告No.1(2017)》指出,从应用角度看,大数据并非全新产业,而是与已有产业融合,对已有模式进行改造、升级和替代。目前,除“国字头”机构外,国内大数据应用主要集中在金融、电信等行业,随着政府数据逐渐公开化,再加上其他行业自身需求,行业大数据应用领域也在不断扩张。不难看出,以盈利为目的的商业大数据应用也正在成为主流趋势之一。
有分析报道称,如果将大数据产业链分开来看,大数据产业的投入比中仍以基础建设市场为主(包括IDC数据中心建设运维、“云计算”平台建设租赁、数据传输网络建设等)。2014年,在基础建设方面的投入占比接近总量的60%,不过到2018年预计很多基础建设也基本成型,随后几年相关的市场规模也将逐步减少。
除了基础建设外,占比约30%的是大数据软件市场。这些软件主要是以交易形式提供给政府、企业等需求者,支撑其更好地管理数据资源并从中获取相应价值。目前这些软件主要功能,就是将大数据分析能力为产品输出。不难看出,目前国内大数据应用市场规模相对较小,应用程度较浅,但随着大数据技术和商业模式进一步成熟,各垂直特色化应用空间也拥有着巨大市场潜力。很多从业者都预计,未来几年将是大数据软件市场增速最快的时期,有望发展至2020年的5019.58亿元,复合增速高达80%。
说到大数据,也必须要提数据来源,现在很多人普遍认为,互联网及物联网是当下生产、收集大数据的重要基地。相对传统的实体企业来说,互联网公司拥有搜索、社交、媒体、交易等核心业务领域,天生就具备很多数据资源。而物联网设备每时每刻也都在采集数据,随着相关设备数量和数据量与日俱增,这两类数据资源也正不断产生各类应用。此外,还有一些企业在业务中积累许多数据,如房地产交易、大宗商品价格、特定群体消费等。不过在大数据从业者眼中,严格意义上讲,这些数据资源还算不上大数据。只不过对于商业应用来说,这部分数据属于最易获得和比较容易加工处理的数据资源,所以这部分也成为当下国内比较常见的应用资源。
除互联网外,国内还有一类重要数据资源来自政府部门,这类数据的普遍特点是被认为质量好、价值高。但因各种原因,政府方面数据公开度还是有待继续提高的。《国务院关于印发促进大数据发展行动纲要的通知》(以下简称《大数据纲要》)中指出,要把公共数据互联开放共享作为努力方向。实际上,长期以来政府部门间信息数据相互封闭、割裂,从根本来说是治理问题,而不是技术问题。面向社会公共数据开放的愿望虽美好,但从真正情况来看,恐怕一段时间内可望而不可即。
此外还值得注意的是,目前在数据资源应用方面,国内对“小数据”、“中数据”的应用其实并不充分。因为很多企业都在试图一步跨入大数据时代,这些企业的核心诉求,就是想借助大数据解决所有前期信息化过程中没能解决的问题,但前景并不乐观。另外,由于中国互联网公司业务主要在国内,其大数据资源也不是全球性的,这也不得不说是一种缺失。
大数据应用全面升级
《大数据纲要》中规划了许多大数据应用领域和方向,包括公共部门和产业领域。所以,对于大数据应用来说,如何真正解决问题,如何把数据资源转化为解决方案,实现产品化运作,也是当下行业共同需要解决的问题。那么,大数据究竟能做什么,也是接下来大部分人都要攻克的话题之一。
2018年人工智能迅速崛起,实际上加速助推了大数据技术应用落地。据中国大数据产业生态联盟调查显示,国内大数据企业年营业额4000万元以上的已超过40%。这意味着,很多企业已不再处于生存初级阶段,而是真正开始走入应用落地和品牌推广的下一阶段。目前从应用环节看,企业端最主要的应用是在于风险控制,行业端的应用则以服务业为主,热点也相对集中在互联网、政务、金融和交通等领域。
接下来,一些行业或许也会伴随大数据应用迎来爆发,伴随着去年工业互联网概念提出,工业企业上云和工业App开发成为热点词汇。据了解,我国工业领域的云化水平较低,在上云企业数量的广度和企业在云端部署的深度两个维度上都具有非常大的发展潜力,工业企业上云处于爆发前期。未来,随着国家上云政策的细化和分解,以及各地政府对工业企业上云策略的落地,对工业数据的分析需求会快速上升,引爆各类工业App应用开发,诸如设备设施预测性维护、工业生产流程优化、生产过程可视化和供应链优化等工业应用。
如今大数据的主要应用领域,被认为主要在追踪、识别、画像、提示、匹配、优化等方面,比如追踪,就是通过互联网和物联网追踪、追溯任何一个记录,形成真实的历史轨迹。如今很多人也认为,追踪是许多大数据应用的起点,包括消费者购买行为、购买偏好、支付手段、搜索和浏览历史、位置信息等;在海量信息中精准追踪和识别,利用相关性、接近性等进行筛选比对,可以更有效率实现产品搭售和供需匹配。大数据匹配功能是互联网约车、租房、金融等共享经济新商业模式基础。
当然,大数据还有很多其他功能,比如有城市推行通过大数据技术实现精准扶贫,从大数据应用角度,通过识别、画像可以对贫困户实现精准筛选和界定,找对扶贫对象;通过追踪、提示,可以对扶贫资金、扶贫行为和扶贫效果进行监控和评估;通过配对、优化,可以更好地发挥扶贫资源的作用。
大数据是具有体量大、结构多样、时效强等特征的数据;处理大数据需采用新型计算架构和智能算法,即“云计算”,大数据已经从概念落到实地,在精准营销、精准医疗、影视娱乐、教育、体育、安防等领域有大量应用。未来,随着应用领域的多元化,对大数据技术的需求越来越多,结合新技术大数据市场空间将快速增长。
大数据应用的核心是“用”
在中国,大数据产业发展并非单纯的技术驱动,其中掺杂着各式各样的产业难题和需求痛点。换句话说,制约大数据发展的往往并不是大数据本身,而是大数据所应用的行业和领域原本存在的问题,如行业管制、行政垄断、要素不能自由流动等。
对于一些行业来说,大数据应用首先面临的问题是数据采集。网智天元首席战略官莫倩对此表示,银行保险声誉风险管控领域大数据应用,一个明显痛点是数据能否全面采集和监测,声誉风险整个指标体系是否规划完整。莫倩提到,声誉风险对金融机构,如银行和保险等来说是命根子。目前,国家已出台了银行保险声誉风险管控指标体系,每个季度这个指标体系都会出排行榜,这会直接影响到银行和保险公司的评级。
声誉风险有很大的不确定性,永远是动态变化的,对于金融机构来说,快速及时全面监测声誉风险,深度挖掘分析声誉风险的来源,提出有效应对方案是大数据应用的目标。关于数据全面采集,莫倩提到,基础的采集技术相对容易,但中间涉及到的文本挖掘、智能分析、深度学习等,就需要更加专业的技术能力,甚至数据分析中还涉及情感维度的分析。
大数据应用层面,数据搜集就不简单是数据信息整合,涉及的是一整套基于数据的解决方案。比如东网科技承接的云南中烟项目,最大的难题就是如何选择一条主线让大数据应用落地,其中包括选择哪些数据,如何处理这些数据,怎样协调这些数据和场景之间的真正关系。
大数据应用能在一定程度上帮助企业降低成本、提高效率,但前提是收集和处理能够准确指向成本和效率问题的痛点。东网科技相关负责人介绍,云南中烟项目最终选定了10个系统,3000多张表格,分别对应现实过程中的系统管理、原材料管控、产品创新以及市场营销等场景。东网科技强调,当系统开始运作,这个系统就属于云南中烟而不是通用。智慧星光负责人则表示,大数据应用的一个关键是梳理数据与企业业务之间的关联。以电信公司为例,品牌推广会跟它的产品研发有关系,新的研发和售后跟它的售后咨询会有关系,企业内部逻辑是相互关联的,有了相互关联的逻辑后,才容易从碎片化的文本当中去找到某一个事件的引起原因,或者预测某一个事情发生后什么事情接下来会受到影响。
传统数据监测通常谈不到应用层面,一个重要原因是传统监测没有结果导向,项目建设完成之后就结束了,没有真正运营数据。软通智慧相关负责人在2018中关村大数据日上提到,设立数据监测点,没有日常维护的项目建设,短期内可能有效,却无法持久。数据是动态的,数据导向的企业问题也是动态的,这就要求大数据应用也必须保持在一个动态的过程中。
当然,只有在线监测数据并不能解决问题,无论是企业,还是政府机构,大数据监测统计最终的目的是分析原因,预测未来,以及做出决策。总之,推动大数据应用的发展,需对不当的行业管理模式进行改革,对既有利益格局进行调整。即便在企业内部,大数据应用也不仅仅是个技术问题,而且是涉及业务流程重组和管理模式变革的问题,是对企业管理能力的一个考验。
数据治理贯穿应用始终
伴随大数据应用需求同步增长的是数据治理问题,包括数据确权、数据安全、数据共享在内的数据治理问题贯穿大数据应用始终。
数据治理有两种理解,一种理解是数据在使用的过程中如何进行治理?另一个理解是,如何用数据来提升政府服务、政府治理,或用数据实现新的业态、新的商业模式?第一种可以归结为数据应用的乱象问题,比如数据杀熟、隐私泄露、数据黑产交易等问题;第二种是数据应用的难点问题,比如数据孤岛、大数据应用场景等问题。
基于第一种理解,我们可以从数据确权、数据立法入手来探讨解决方法,第二种则关系到数据开放、数据共享等问题。可以确定的是,如果数据确权、数据立法问题得不到解决,数据开放和共享将举步维艰,各行业的数据应用也会受到根本性阻碍。
针对此,我们首先要从数据确权上解决数据的归属权和使用权问题,这也是数据立法需要解决的一个主要核心问题。
数据在我们国家有大量法律上的空白,因此大数据的发展呼唤着法制。但法制不是静态的,在强调流动效益的大数据面前,更无法用静态法制手段去进行一刀切式的粗暴管理。如何在数据治理的过程中不阻碍数据开放、传播和分享?在清华大学国家治理研究院执行院长孟庆国看来,用传统疆域的概念来定义数据跨境流动的问题,实际上非常具有挑战也是非常需要破解的一个领域,这些范畴都需要基于数据流动视角去探讨的一些治理问题。
阿里巴巴集团技术副总裁、首席安全专家杜跃进则提出了如何提升企业参与数据安全治理主动性的问题。也就是对于市场和企业来说,促进数据安全治理的持续性支撑力是什么?这个需要找到。“如果做不好这样的事情,数字经济的持续增长是不可能的”,杜跃进表示。
基于这样的考虑,杜跃进提出了数据治理的生态体系。他认为,只靠一个垂直的自上而下的管理是不行的,治理是一个生态体系,这个生态体系有这样一些非常重要的贡献者,包括政府和行业的主管部门。所有的企业、行业、组织未来都将全部走向数据驱动,这些参与者各自应该干的事情是什么?需要考虑清楚。以及整个数据治理的独立评估方,例如产业协会或者联盟,为保证质量制定数字经济的业界规则,还有教育培训机构来培养数据安全专业人员,培养领导的意识,以及研究机构对标准和方法进行持续研究等等,所有的相关者参与进来才有可能推动数据治理走向规范。诚如中国政法大学副校长时建中所言,每个数据都有非常强的社会外部性,因此每一个数据企业要承担更多的社会责任、伦理责任再加上法制保障,才能使得我们走得更远、变得更强。
此外,中国行政体制改革研究会常务副秘书长王露认为,基于对大数据的国家战略性资源的地位和国际竞争力的考虑,大数据治理不能仅讨论政府和社会各界对大数据的应用问题,更应该关注如何加强大数据技术的安全和保护。他强调:“我们要密切关注数据治理国际动态,提高中国数据治理国际话语权,在世界复杂多变的竞争格局中占有一席之地。”
产业机构互助推进大数据产业应用与治理
大数据行业经过几年发展,如今正进入应用落地的重要时期。但在发展过程中,还存在诸如安全、规则等基础方面需要完善的挑战。所以,今年第七届中关村大数据日,也把会议主题定为——大数据应用与治理。在会议上,来自产业各方的大咖们,纷纷对这一话题建言献策。此外,作为构建大数据产业支撑体系的重要板块之一,《数据》杂志与中关村大数据产业联盟达成了未来的战略合作协议。
为建立和完善大数据产业公共服务支撑体系,加快培育自主产业生态体系,进一步增强中关村的辐射带动作用。中关村大数据产业联盟与开发区、产业园区、行业组织以及行业媒体进行大数据产业发展促进战略合作单位签约。其中,《数据》杂志作为行业专业媒体,与中关村大数据产业联盟达成战略合作协议。
未来,《数据》杂志将与中关村数据产业联盟进行内容方面的深度合作,共同挖掘行业内更有价值的大数据应用案例,打造更多行业核心理念输出的思想交流平台。
对于合作,《数据》杂志总经理王海岩表示,当今大数据技术发展迅猛,但仍存在供需端不均衡的现象。很多行业、企业仍面临不知如何运用大数据技术,完成自身转型升级的难题。作为大数据领域的垂直媒体,《数据》杂志致力于做好行业的专业报道。一方面寻找大数据行业最前沿的理念、最具价值的技术;另一方面也帮助企业解决难题,实现数字化转型。与中关村大数据产业联盟的合作,更重要的是搭起沟通的桥梁,让数字生态更好融入到各行各业中。当越来越多供需方实现精准匹配后,其实也是助推了行业发展。希望未来双方可以发挥出1+1>2的价值。
-
做好数据治理,更快更好地推进数字化转型
数据为关键要素的数字经济进入了新时代。当前,以人工智能、区块链等为代表的数字技术不断涌现,快速向经济社会各领域融合渗透。以数据为核心的数……查看详情发布时间:2020.03.26来源:知乎浏览量:96次
-
企业为什么要实施数据治理项目
目前业界并没有对其概念的统一标准定义,我们可以这么认为,数据治理从本质上看就是对一个机构(企业或政府部门)的数据从收集融合到分析管理和利……查看详情发布时间:2020.04.09来源:知乎浏览量:83次
-
数据治理系列5:浅谈数据质量管理
数据质量管理是对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的数据质量问题,进行识别、度量、监控、预警等一……查看详情发布时间:2019.12.06来源:CSDN浏览量:125次
-
如何保证数据质量、数据治理:让数据质量更好
数据分析、数据挖掘等各种数据应用都离不开数据质量,数据质量的重要性不用多表。今天来浅谈如何通过数据治理,来保证数据质量。数据的生命周期往……查看详情发布时间:2019.09.12来源:知乎浏览量:119次
-
数据交换服务组件介绍
数据交换服务组件,在遵循一定的交换策略条件下进行数据交换及消息传递,支持数据资源在不同单位、不同区域的快速交换和共享,提供配置工具生成交……查看详情发布时间:2020.08.12来源:知乎浏览量:129次
-
大数据时代如何做好数据治理
企业在建制大数据平台的同时,对进入数据湖的数据进行梳理,并按照数据资产目录的形式对外发布。在发布数据资产之后,则对进出数据湖……查看详情发布时间:2018.12.10来源:数据治理浏览量:65次