ACA - 大数据概述

一、什么是大数据

1.大数据的定义

大数据( Big Data)， 指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2.大数据的发展历程

3.大数据的主要特征

■体量大（Volume）
■类型多（Variety）
■有价值（Value）
■变化快（Velocity）

4.为什么会有大数据

■移动互联网带来数据爆炸式的增长
■数据作为资产其价值得到认可
■存储和计算能力的飞速发展

5.大数据的来源

媒体、网络日志、公共设施、单位组织、大型设备、工业领域、地理位置、基因图谱

二、大数据的价值

1.解决四种问题

■坐井观天：孤立存在，无法获得外部世界的信息，决策基于数据片段。
■一叶障目：被局部现象所迷惑，看不到事物的全局或者整体。
■盲人摸象：事物间的联系被忽视、弱化或割裂，没有全局或综合的视图。
■城门鱼殃：无法从多个角度看待问题，忽略了事物之间的关联性。

2.提升两种能力

■一叶知秋：通过个别细微的迹象，推测出整个形势的发展趋势和结果。即通过全局数据计算，分析内在规律，进而提高洞察世界的能力。
■运筹帷幄：大数据应用立足于决策，通过多维度数据的搜集、加工和分析，高效的帮助用户做出更为准确的商业决策。

三、如何使用大数据

1.如何存储

分布式存储

2.如何计算

■将问题简化成一个更简单的能处理的问题，比如十亿量级的数据查询，分布到一千台主机上成为百万级的查询。
■将大问题拆分成多个可以简单求解的小问题。

3.如何分析

■数据采集与处理
■数据质量与管理
■机器学习
■数据可视化

数据分析流程

四、大数据相关的流行技术

1.Hadoop生态圈

2.阿里云大数据体系