(01)Flume简介

myt0 2020-02-13

  1、Flume简单介绍

Apache Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

  2、Flume体系结构

(01)Flume简介

工作流程:

(1)外部数据源(web server)将Flume可识别的Event发送到Source;

(2)Source收到Event后存储到一个或多个Channel中;

(3)Channel保留Event直到Sink将其处理完毕;

(4)Sink从Channel中取出数据,并将其传输至外部存储(HDFS)

组件说明:

(1)Event:Flume处理数据元,可能是一条日志,一个Avro对象等,通常约4kb大小

(2)Agent:Flume运行实体,每台机器一份,可能包括多个Source或者Sink

(3)Client:产生Event,在单独线程中运行

(4)Source:接收Event,并送入Channel,在单独线程中运行并监控

(5)Sink:从Channel接收Event,可能进行下一步转发(如连与另外某Source通讯),在单独线程中运行并监控

相关推荐

wsong / 0评论 2020-04-15