ACA - 大数据概述

xiaoxiaoCNDS 2020-05-28

一、什么是大数据

1.大数据的定义

大数据( Big Data), 指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2.大数据的发展历程

ACA - 大数据概述

3.大数据的主要特征

■体量大(Volume)
■类型多(Variety)
■有价值(Value)
■变化快(Velocity)

4.为什么会有大数据

■移动互联网带来数据爆炸式的增长
■数据作为资产其价值得到认可
■存储和计算能力的飞速发展

5.大数据的来源

媒体、网络日志、公共设施、单位组织、大型设备、工业领域、地理位置、基因图谱

二、大数据的价值

1.解决四种问题

■坐井观天:孤立存在,无法获得外部世界的信息,决策基于数据片段。
■一叶障目:被局部现象所迷惑,看不到事物的全局或者整体。
■盲人摸象:事物间的联系被忽视、弱化或割裂,没有全局或综合的视图。
■城门鱼殃:无法从多个角度看待问题,忽略了事物之间的关联性。

2.提升两种能力

■一叶知秋:通过个别细微的迹象,推测出整个形势的发展趋势和结果。即通过全局数据计算,分析内在规律,进而提高洞察世界的能力。
■运筹帷幄:大数据应用立足于决策,通过多维度数据的搜集、加工和分析,高效的帮助用户做出更为准确的商业决策。

三、如何使用大数据

1.如何存储

分布式存储

2.如何计算

■将问题简化成一个更简单的能处理的问题,比如十亿量级的数据查询,分布到一千台主机上成为百万级的查询。
■将大问题拆分成多个可以简单求解的小问题。

3.如何分析

■数据采集与处理
■数据质量与管理
■机器学习
■数据可视化

数据分析流程

ACA - 大数据概述

四、大数据相关的流行技术

1.Hadoop生态圈

ACA - 大数据概述

2.阿里云大数据体系

ACA - 大数据概述