（01）Flume简介

　　1、Flume简单介绍

Apache Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

　　2、Flume体系结构

工作流程：

（1）外部数据源(web server)将Flume可识别的Event发送到Source;

（2）Source收到Event后存储到一个或多个Channel中;

（3）Channel保留Event直到Sink将其处理完毕;

（4）Sink从Channel中取出数据，并将其传输至外部存储（HDFS）

组件说明：

（1）Event：Flume处理数据元，可能是一条日志，一个Avro对象等，通常约4kb大小

（2）Agent：Flume运行实体，每台机器一份，可能包括多个Source或者Sink

（3）Client：产生Event，在单独线程中运行

（4）Source：接收Event，并送入Channel，在单独线程中运行并监控

（5）Sink：从Channel接收Event，可能进行下一步转发（如连与另外某Source通讯），在单独线程中运行并监控