Flume

chenguangchun 2020-06-28

一、概述

1.Flume是Apache提供的开源的、分布式的、可靠的日志收集系统

2.能够有效的收集、聚合、传输大量的日志数据

3.flume有2个版本:flume-og(flume09x)和flume-ng(flume1.x),flume-og和flume-ng不兼容

二、基本概念

1.Event:将收集到的每一条日志都封装成一个Event对象 - 在Flume中流动的是Event,Event的格式采用了json格式来定义的,这个json串中包含了2个部分:headers和body

2.Flume中的组件是以Agent形式出现的,Agent包含:Source,Channel,Sink

  a.Source:从源头采集数据

  b.Channel:临时存储数据

  c.Sink:将数据发往目的地

在flume的安装目录下,创建文件夹data,在data中创建一个文件basic.conf,内容如下  

#给Agent起名为a1
#给source起名
a1.sources = s1
#给channel起名
a1.channels = c1
#给sink起名
a1.sinks = k1

#配置source
#配置source的类型
a1.sources.s1.type = netcat
#配置监听的主机
a1.sources.s1.bind = 0.0.0.0
#配置监听的端口
a1.sources.s1.port = 8090

#配置channel
#配置channel的类型
a1.channels.c1.type = memory
#配置channel的容量,多少条
a1.channels.c1.capacity = 10000
#配置往sink发送的数据量,每次1000条的量发送
al.channels.c1.transactionCapacity = 1000

#配置sink
#配置sink的类型
a1.sinks.k1.type = logger

#将source和channel绑定,一个source有多个channel
a1.sources.s1.channels = c1
#将sink和channel绑定,一个sink只有一个channel
a1.sinks.k1.channel = c1

执行命令:-n agent的名称,-c conf目录,-f 自定义的文件,-Dflume.root.logger 日志输出基本和位置

./flume-ng agent -n a1 -c ../conf/ -f ../data/basic.conf -Dflume.root.logger=INFO,console

另起一个ssh窗口,执行命令:nc hadoop101 8090,在控制台中输入数据,并回车

AVRO:avrosource.conf

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = avro
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 8090

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

bin目录下执行命令:./flume-ng agent -n a1 -c ../conf/ -f ../data/avrosource.conf -Dflume.root.logger=INFO,console  启动flume

 执行agent-avro客户端指令,在flume的安装目录的bin目录下:a.txt是需要进行操作的文件,必须存在

./flume-ng avro-client -H 0.0.0.0 -p 8090 -F /home/a.txt -c ../conf/ 

Exec Source:execsource.conof

a1.sources=r1
a1.channels=c1
a1.sinks=s1

a1.sources.r1.type=exec
a1.sources.r1.command=cat /home/a.txt

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sinks.s1.type=logger

a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

bin目录下执行命令:./flume-ng agent -n a1 -c ../conf/ -f ../data/execsource.conf -Dflume.root.logger=INFO,console

看到日志中 cat /home/a.txt 命令下有两条结果输出

Spooling Directory:监听目录下有文件的变化,spooldirsource.txt配置文件

在 /home下创建 flumedata目录

spooldirsource.txt文件: flume安装目录/data/spooldirsource.txt,内容如下

a1.sources=r1
a1.channels=c1
a1.sinks=s1

a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/home/flumedata

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sinks.s1.type=logger

a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

bin目录下执行命令:./flume-ng agent -n a1 -c ../conf/ -f ../data/spooldirsource.txt -Dflume.root.logger=INFO,console

在 /home目录下创建一个文件a.log,随意在a.log中写入内容

执行命令:mv a.log /home/flumedata ,在flumedata目录下会有 a.log.COMPLETED 文件

Sequence Generator Source --序列发生源

seqsource.conf 配置文件内容:

a1.sources=r1
a1.channels=c1
a1.sinks=s1

a1.sources.r1.type=seq

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sinks.s1.type=logger

a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

启动命令:./flume-ng agent -n a1 -c ../conf/ -f ../data/seqsource.conf -Dflume.root.logger=INFO,console

相关推荐

wsong / 0评论 2020-04-15