数据资产管理的发展趋势
发布时间:2020.09.11来源:知乎浏览量:125次标签:数据治理
数据对象纷繁复杂。目前,企业数据管理的主要数据对象仍然是结构化的文本数据。未来,随着网络爬虫、视频处理、语音识别、自然语言处理、图像处理、人脸识别等相关技术逐渐成熟并被产业界进一步深度应用,城市数据、视频数据、语音数据、图形图像数据等将被越来越多的进行管理和应用。预计到2020年,66%的企业将采用高级分类处理方案来采集、保存并处理非结构化的数据,以提高分析效率。
数据采集途径丰富。随着传感器、5G及NB-IoT的发展,数据采集及传输途径也将得以扩充。由社交媒体和机器人过程自动化(RPA)等转型技术创建的新数据通道将为数据治理和数据质量组织带来机遇和挑战。这些渠道的数据,其规模、数量、速度和变化(SVVV)等特征与主数据管理和数据治理的传统领域的特征显著不同。数据采集的变化和传统数据管理架构产生了“差异”,这样的“差异”要求管理组织采用不同的方法来管理数据质量和标准,以满足相关数字业务流程所要求的灵活性。
处理架构更新换代。由于越来越多的文件、文本、日志等半结构化、非结构化数据加入形成“数据湖”,数据的处理架构也在发生变化。支持主流大数据分析平台的处理架构以及批处理、流计算等技术正在被应用于数据资产管理。预计到2020年,主流的分析架构都将包含基于目标进行优化的解决方案,其中三分之一的产品会将关系型及非关系型数据的处理结合在一起。数据处理的底层架构将全面采取包括分布式文件系统、MPP数据库、传统数仓、流计算引擎、交互式计算引擎、离线计算引擎在内的“计算&存储混搭架构”,并逐渐由传统的“ETL”数据集成过程向“ELT”转变。以Hadoop、Spark等分布式技术和组件为核心的数据处理架构,能够支持批量和实时的数据加载以及灵活的业务需求,将是持续焦点。
组织职能升级变迁。当前主流管理制度体系中,数据管理职能由IT部门来负责,业务部门配合IT部门执行数据管理并提出需求。未来,随着数据分析与业务融合越来越深入,业务部门将成为数据应用的主角,在数据资产管理中扮演越来越重要的角色。据Gartner预测,未来50%的全球性组织将聘用首席数据官(CDO,Chief Data Officer),在数据高度监管的银行金融或医疗健康领域,此类人才需求量更大。这些人员将全面负责实施和监督各级严格的数据治理和质量监管政策。
管理手段自动智能。依靠“手工人力”的电子表格数据治理模式即将被“自动智能”的“专业工具”取代,越来越多的数据管理员、业务分析师和数据领导者采用“平台工具”来获取数据价值。随着机器学习、深度学习技术的成熟,相关专项解决方案和平台工具系统的技术局限性如效率低、差错率高、扩展性差等将被一一攻破,能够有效地解放人力,提高效率和精度。
应用范围不断扩大。数据的应用范围将由传统的内部应用为主发展为支撑内部和服务外部并重。数据资产的意义价值也从对内强化能力扩展到了对外合作开放上,从而实现数据资产保值到增值的跨越。内部应用一般包括管理优化、研判决策、风险规避、业务拓展、管控成本等。由原来的只应用于领导决策场景扩展到全员业务分析使用。外部运营包括智能推荐、精准营销、分析报告以及风险防控等。
-
一套完事数据治理平台解决你数据太多、太乱、太杂的问题
智能是基于数据的,而数据又是基于大量人工与工程努力的,所以人工智能还有相当一部分「人工」。数据收集需要人工确定数据源,或者手动写爬虫;数……查看详情发布时间:2019.10.25来源:知乎浏览量:196次
-
大数据治理 [Big Data Governance an Emerging Imperative]
《大数据治理》是一个信息治理专家奉献的鸿篇巨制,作者以极其实用和通俗易懂的风格,倾心向读者解读大数据治理这一复杂主题。作为一家大公司的资……查看详情发布时间:2018.11.29来源:数据治理浏览量:112次
-
数据治理管理干货 | 数据质量管理的方法
原始数据通常包含错误,如果不做数据质量管理,可能会导致错误的结果。数据质量管理是数据治理中获得正确上下文和结论的基本步骤。……查看详情发布时间:2021.06.22来源:亿信数据治理知识库浏览量:114次
-
数据治理准备的支柱:企业数据管理方法
Facebook的数据问题继续成为头条新闻的主导,并进一步凸显了企业范围内数据资产视图的重要性。备受瞩目的案件与其他着名的数据丑闻有所不……查看详情发布时间:2019.01.24来源:亿信华辰浏览量:96次
-
大数据是大问题?组织需要为数据管理负责
如果数据收集在2018年让人们明白一件事的话,那就是使用数据的公司与商业模式依赖数据利用的公司之间存在一条明显而深刻的界线。由于剑桥分析……查看详情发布时间:2019.04.09来源:亿信华辰浏览量:77次
-
数据太多、太乱、太杂?你需要这样一套数据治理平台
当前,企业变革已经成为企业适应剧烈变化的市场环境、实现长期发展的必经之路。然而,过去为组织带来工作效率提升的烟囱式的孤岛式的业务系统……查看详情发布时间:2019.11.20来源:知乎浏览量:96次
-
商业银行数据治理从源头抓起 坚持数据标准先行
商业银行数据治理是一门将数据视为一项资产的学科。它涉及到银行以资产的形式对数据进行优化、保护和利用的决策权利。糟糕的数据管理意味着糟糕的……查看详情发布时间:2019.09.04来源:知乎浏览量:101次
-
2021年数据治理框架最佳实践方法
数据治理是企业用来管理、利用和保护其数据的过程。在这种情况下,数据可以表示公司的全部数字资产和纸质资产或子集。数据治理的另一个方面是保护……查看详情发布时间:2021.07.14来源:亿信数据治理知识库浏览量:93次