hadoop视频教程

Hadoop是什么，为什么要学习Hadoop?

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streamingaccess）文件系统中的数据。

Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop带有用Java语言编写的框架，因此运行在Linux生产平台上是非常理想的。本课程的讲解是采用linux平台进行模拟讲解，完全基于真实场景进行模拟现实

第1章节:

>Hadoop背景

>HDFS设计目标

>HDFS不适合的场景

>HDFS架构详尽分析

>MapReduce的基本原理

第2章节

>Hadoop的版本介绍

>安装单机版Hadoop

>安装Hadoop集群

第3章节

>HDFS命令行基本操作

>Namenode的工作机制

>HDFS基本配置管理

第4章节

>HDFS应用实战：图片服务器(1)-系统设计

>应用的环境搭建php+bootstrap+java

>使用HadoopJavaAPI实现向HDFS写入文件

第5章节

>HDFS应用实战：图片服务器(2)

>使用HadoopJavaAPI实现读取HDFS中的文件

>使用HadoopJavaAPI实现获取HDFS目录列表

>使用HadoopJavaAPI实现删除HDFS中的文件

第6章节

>MapReduce的基本原理

>MapReduce的运行过程

>搭建MapReduce的java开发环境

>使用MapReduce的java接口实现WordCount

第7章节

>WordCount运算过程分析

>MapReduce的combiner

>使用MapReduce实现数据去重

>使用MapReduce实现数据排序

>使用MapReduce实现数据平均成绩计算

第8章节

>HBase详细介绍

>HBase的系统架构

>HBase的表结构，RowKey，列族和时间戳

>HBase中的Master，Region以及RegionServer

第9章节>使用HBase实现微博应用（1）

>用户注册，登陆和注销的设计

>搭建环境struts2+jsp+bootstrap+jquery+HBaseJavaAPI

>HBase和用户相关的表结构设计

>用户注册的实现

第10章节

>使用HBase实现微博应用（2）

>使用session实现用户登录和注销

>“关注"功能的设计

>“关注"功能的表结构设计

>“关注"功能的实现

第11章节

>使用HBase实现微博应用（3）

>“发微博"功能的设计

>“发微博"功能的表结构设计

>“发微博"功能的实现

>展现整个应用的运行

第12章节

>HBase与MapReduce介绍

>HBase如何使用MapReduce

第13章节

>HBase应用实战：话单查询与统计（1）

>应用的整体设计

>开发环境搭建

>表结构设计

第14章节

>HBase应用实战：话单查询与统计（2）

>话单入库单设计与实现

>话单查询的设计与实现

第15章节

>HBase应用实战：话单查询与统计（3）

>统计功能设计

>统计功能实现

第16章节>深入MapReduce（1）

>split的实现详解

>自定义输入的实现

>实例讲解

第17章节

>深入MapReduce（2）

>Reduce的partition

>实例讲解

第18章节

>Hive入门

>安装Hive

>使用Hive向HDFS存入结构化数据

>Hive的基本使用

第19章节>使用MySql作为Hive的元数据库

>Hive结合MapReduce

第20章节

>Hive应用实战:数据统计（1）

>应用设计，表结构设计

第21章节

>Hive应用实战：数据统计（2）

>数据录入与统计的实现

先上传几节给大家看一下，后面的小编会陆续跟上，

小编的QQ281916322

点击下载

点击下载

点击下载