大数据是如何被采集及应用的

发布时间:2019.01.11来源:亿信华辰浏览量:6次标签:数据治理

尽管“大数据”一词近年来屡遭热捧,但很多人都还不知道什么是大数据,更不知道大数据有什么用。这两年,发现“大数据”这个词出现的越来越频繁了,不仅企业,连国家都在部署大数据战略,但是还是没搞懂大数据到底是什么,直到有一天我发现不管我在网上搜索什么,页面都会跳出我要搜索的相关产品或关联事物。

所谓大数据,就是算法!它能够“算”出我们“心中所想”。

那么问题来了,大数据技术是如何采集到我们的信息的呢?

数据采集,又称数据获取,是利用一种装置,从系统外部采集数据并输入到系统内部的一个接口。在互联网行业快速发展的今天,数据采集已经被广泛应用于互联网及分布式领域,比如摄像头,麦克风,都是数据采集工具。

数据采集系统整合了信号、传感器、激励器、信号调理、数据采集设备和应用软件。在数据大爆炸的互联网时代,数据的类型也是复杂多样的,包括结构化数据、半结构化数据、非结构化数据。结构化最常见,就是具有模式的数据。非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。大数据采集,是大数据分析的入口,所以是相当重要的一个环节。

我们首先来了解一下数据采集的三大要点:

一、数据采集的三大要点

(1)全面性

数据量足够具有分析价值、数据面足够支撑分析需求。

比如对于“查看商品详情”这一行为,需要采集用户触发时的环境信息、会话、以及背后的用户id,最后需要统计这一行为在某一时段触发的人数、次数、人均次数、活跃比等。

(2)多维性

数据更重要的是能满足分析需求。灵活、快速自定义数据的多种属性和不同类型,从而满足不同的分析目标。

比如“查看商品详情”这一行为,通过埋点,我们才能知道用户查看的商品是什么、价格、类型、商品id等多个属性。从而知道用户看过哪些商品、什么类型的商品被查看的多、某一个商品被查看了多少次。而不仅仅是知道用户进入了商品详情页。

(3)高效性

高效性包含技术执行的高效性、团队内部成员协同的高效性以及数据分析需求和目标实现的高效性。也就是说采集数据一定要明确采集目的,带着问题搜集信息,使信息采集更高效、更有针对性。此外,还要考虑数据的及时性。

不同应用领域的大数据其特点、数据量、用户群体均不相同。不同领域根据数据源的物理性质及数据分析的目标采取不同的数据采集方法。

那么,接下来我们再来了解一下常用的数据采集的方法。

 

常用的数据采集方法归结为以下三类:传感器、日志文件、网络爬虫。

(1)传感器

传感器通常用于测量物理变量,一般包括声音、温湿度、距离、电流等,将测量值转化为数字信号,传送到数据采集点,让物体有了触觉、味觉和嗅觉等感官,让物体慢慢变得活了起来。

(2)系统日志采集方法

日志文件数据一般由数据源系统产生,用于记录数据源的执行的各种操作活动,比如网络监控的流量管理、金融应用的股票记账和 web 服务器记录的用户访问行为。

很多互联网企业都有自己的海量数据采集工具,多用于系统日志采集,如Hadoop的Chukwa,Cloudera的Flume,Facebook的Scribe等,这些工具均采用分布式架构,能满足每秒数百MB的日志数据采集和传输需求。

(3)Web 爬虫

网络爬虫是指为搜索引擎下载并存储网页的程序,它是搜索引擎和 web 缓存的主要的数据采集方式。通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来,将其存储为统一的本地数据文件,并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集,附件与正文可以自动关联。

此外,对于企业生产经营数据上的客户数据,财务数据等保密性要求较高的数据,可以通过与数据技术服务商合作,使用特定系统接口等相关方式采集数据。比如八度云计算的数企BDSaaS,无论是数据采集技术、BI数据分析,还是数据的安全性和保密性,都做的很好。

数据的采集是挖掘数据价值的第一步,当数据量越来越大时,可提取出来的有用数据必然也就更多。只要善用数据化处理平台,便能够保证数据分析结果的有效性,助力企业实现数据驱动。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 使我们的国家数据资源现代化:永无止境的挑战

    使我们的国家数据资源现代化:永无止境的挑战

    澳大利亚统计局,包括其前身组织,已经为澳大利亚社区提供了超过110年的优质可靠数据。……查看详情

    发布时间:2019.03.07来源:亿信华辰浏览量:2次

  • 如何建立有效的数据交换管理平台?

    如何建立有效的数据交换管理平台?

    随着企业综合管理水平的提高和信息化建设的开展和深入,企业数值转型也越发迫切,企业在转型过程中必然会有业务系统之间数据交换,但是数据交换又……查看详情

    发布时间:2020.04.22来源:知乎浏览量:1次

  • 干货 | 企业数据治理最重要的三步

    干货 | 企业数据治理最重要的三步

    对企业内部数据进行标准化治理,是有效利用的第一步。下面,就来说说企业数据治理要如何在项目开启时就赢在起跑线上。……查看详情

    发布时间:2021.05.12来源:亿信数据治理知识库浏览量:2次

  • 新白皮书提供数据治理计划实施技巧

    新白皮书提供数据治理计划实施技巧

    实施数据治理计划 - 一系列标准化管理实践,以解决数据的创建,使用和报告问题 - 有助于确保医疗保健组织内的大量数据得到质量,可访问性和……查看详情

    发布时间:2018.11.21来源:数据治理浏览量:1次

  • 什么是主数据?

    什么是主数据?

    企业主数据(Master Data)是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、物料单、账户等;它是具有高业务价值……查看详情

    发布时间:2020.04.29来源:知乎浏览量:1次

  • 数据资产管理“管”什么

    数据资产管理“管”什么

    目前,数据资产管理已经形成了一套科学的管理架构体系,其体系架构如下图所示,主要包含9个活动职能和2个保障措施,9个活动职能指的是数据标准……查看详情

    发布时间:2020.09.11来源:知乎浏览量:4次

  • 数据治理概述

    数据治理概述

    每天,大学的数据都会被评估,创建,使用,存储,存档,报告或删除。数据治理为罗切斯特的这些信息的定义,交换,完整性和安全性设定了标准和协议……查看详情

    发布时间:2018.11.26来源:数据治理浏览量:1次

  • 数据治理模型 - 组织数据质量管理的责任

    数据治理模型 - 组织数据质量管理的责任

    企业需要数据质量管理(DQM),它结合了业务驱动和技术观点,以应对需要高质量企业数据的战略和运营挑战。迄今为止,公司已将DQM的责任主要……查看详情

    发布时间:2018.12.21来源:数据治理浏览量:1次

  • 金融业如何解困破局、实现数据有序治理和高效利用

    金融业如何解困破局、实现数据有序治理和高效利用

    现如今金融业如何解困破局、实现数据有序治理和高效利用,是需要共同探讨的重点议题。数据治理应遵循四大基本原则。……查看详情

    发布时间:2019.12.12来源:知乎浏览量:2次

  • 一个通用的数据中台架构应该如何构建,本文告诉你答案

    一个通用的数据中台架构应该如何构建,本文告诉你答案

    这两年,越来越多的大数据从业者提到“数据中台”的概念。在信息系统建设工作中,我们熟知系统可以分为前台和后台,但什么是中台,每个人的理解并……查看详情

    发布时间:2020.11.18来源:知乎浏览量:2次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议