基于Docker的ELK日志平台搭建
lihy0 2017-10-25
基于Docker的ELK日志平台搭建
1.安装Docker
Docker可简单理解为一个轻量级的虚拟机。Docker对进程进行封装隔离，隔离的进程独立于宿主和其它的隔离的进程，因此也称其为容器。Docker和传统虚拟化方式的不同。传统虚拟机技术是虚拟出一套硬件后，在其上运行一个完整操作系统，在该系统上再运行所需应用进程；而Docker内的应用进程直接运行于宿主的内核，容器内没有自己的内核，而且也没有进行硬件虚拟。因此容器要比传统虚拟机更为轻便：资源利用率高、启动迅速、迁移方便等。
1） 安装
官网有各种平台的安装指南，可参考：
https://docs.docker.com/engine/installation/
不同平台Docker安装大同小异，这里以MacOS系统为例：
a. 直接下载安装即可(命令注意输入法的中英文)
https://docs.docker.com/docker-for-mac/
b. 命令安装
$ brew install docker
2） 安装成功检测
输入如下命令：
$ docker --version
$ docker-compose --version
$ docker-machine –version
3） 镜像加速
鉴于国内的环境，可以采用VPN或阿里云等进行镜像加速，加快镜像软件的下载。
2. JavaWeb镜像软件制作
1） 安装CentOS
拉取最新稳定版本
$ docker pull centos
拉取特定版本
$ docker pull centos:centos6
注：若出现权限问题，命令行前面加sudo
查看当前所有镜像，确保安装成功
$ docker images
2） 创建CentOS容器
$ docker run –i -t centos /bin/bash
完整创建CentOS容器命令
& docker run -i -t --name centos1 -v /Users/devin/Documents/:/usr/local/ centos /bin/bash
注：-v<宿主机目录>:<容器目录>表示需要将本地哪个目录挂载到容器中，--name centos1表示创建的容器名字
退出容器命令行
& exit
停止容器
& docker stop容器ID
启动容器
& docker start 容器ID
进入容器命令
& docker exec -i -t 容器ID /bin/bash
查看容器命令
& docker ps 默认显示运行的容器
& docker ps –a 显示所有容器
删除容器
& docker rm 容器ID
删除镜像
& docker rmi 镜像ID
3） 安装JDK环境
进入CentOS命令环境，进入jdk存放存放目录，解压
# tar -zxvf jdk8.tar.gz
把jdk移动到/usr/local/java目录下
# mv jdk1.8.0_121 java
配置环境变量
# vi /etc/profile
在最后一行插入（快捷键G->o）
export JAVA_HOME=/usr/local/java/jdk1.8.0_121
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export CATALINA_HOME=/usr/local/java/tomcat-8.5.12
export CATALINA_BASE=/usr/local/java/tomcat-8.5.12
按ESC退到命令模式，按:wq保存文件并退出vi，运行如下命令使保存生效
# source /etc/profile
查看是否安装成功
# java –version
4） 安装Tomcat
# tar -zxvf tomcat-8.5.tar.gz
把Tomcat移动到/usr/local/java目录下
# mv tomcat-8.5.12 java
启动Tomcat
# cd tomcat-8.5.12/bin
# ./startup.sh #./shutdown.sh 关闭
5） 创建带JDK和Tomcat的镜像tempos
docker commit af7 tempos
在tempos镜像的基础上配置环境变量
a． 创建一个Dockerfile的目录，在里面建立一个Dockerfile文件，内容如下：
FROM tempos
#配置java与tomcat环境变量
ENV JAVA_HOME /usr/java/jdk1.8.0_121
ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
ENV CATALINA_HOME /usr/java/tomcat-8.5.12
ENV CATALINA_BASE /usr/java/tomcat-8.5.12
ENV PATH $PATH:$JAVA_HOME/bin:$CATALINA_HOME/lib:$CATALINA_HOME/bin
#容器运行时监听的端口，多个端口可以继续换行EXPOSE 9200
EXPOSE 8080
b． 命令行中进入Dockerfile目录所在的路径，创建新的镜像javaweb
docker build -t tempos Dockerfile
镜像javaweb即是最终我们要的带开发环境和环境变量的镜像
& docker run -p 8080:8080 -i -t --name javaweb1 javaweb /bin/bash
如果暴露多个端口：-p <host_p1>:<container_p1> -p <host_p2>:<container_2>
启动Tomcat测试
# cd /usr/local/java/tomcat-8.5.12/bin ./startup.sh
3. ELK环境搭建
1) 安装和配置ElasticSearch
官网下载ElasticSearch
https://www.elastic.co/
安装ElasticSearch（需安装JDK8及以上版本），并移动至相应目录
# tar -zxvf elasticsearch-5.2.2.tar.gz
# mv elasticsearch-5.2.2 java
配置ElasticSearch
# vi config/elasticsearch.yml
network.host: 0.0.0.0 #设置这个配置，保证本机可以访问（Docker下）
启动ElasticSearch，进入elasticsearch-5.2.2/bin目录，执行
# ./elasticsearch # ./elasticsearch –d 不显示控制台信息
注：出于安全考虑，ElasticSearch不能用root账户启动，切换账户即可。
root切换为普通用户：su - username
普通切换为root用户：su - （docker exit退出）
添加用户、修改密码、删除用户
# adduser devin # passwd devin # userdel devin
查看用户信息
用户列表文件：/etc/passwd
用户组列表文件：/etc/group
查看所有用户：cut -d : -f 1 /etc/passwd
查看可登录用户：cat /etc/passwd | grep -v /sbin/nologin | cut -d : -f 1
通过下面命令查看是否成功：
curl http://127.0.0.1:9200 #直接输出网站前端源码
2) 安装和配置logstash
官网下载logstash、安装并移到java目录
https://www.elastic.co/downloads/logstash
# tar -zxvf logstash-5.2.2.tar.gz
# mv logstash-5.2.2 java
创建logstash配置文件：
# cd logstash-5.2.2/config
# vi logstash.conf
启动logstash(在目录elasticsearch-5.2.2下执行)
bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts => "127.0.0.1:9200"} }'
其中也可以直接配置logstash的文件
input { stdin { } }
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}
# ./bin/logstash -f config/logstash.conf
简单测试
bin/logstash -e 'input { stdin { } } output { stdout {} }'
Logstash检测
检测：bin/logstash -f config/logstash.conf --config.test_and_exit
开始：bin/logstash -f config/logstash.conf --config.reload.automatic
3) 安装和配置kibana
官网下载kibana
https://www.elastic.co/downloads/kibana
安装并移到java目录
# tar -zxvf kibana-5.2.2.tar.gz
# mv kibana-5.2.2 java
配置kibana
# cd java/kibana-5.2.2
# vi config/kibana.yml
server.port: 5601
server.host: "0.0.0.0" #本机可访问
elasticsearch.url: http://127.0.0.1:9200
kibana.index: ".kibana"
启动kibana：
# ./bin/kibana
浏览器访问即可: http://localhost:5601
4) 安装和配置Filebeat
官网下载Filebeat
https://www.elastic.co/downloads/beats
安装并移到java目录
# tar -zxvf filebeat-5.2.2.tar.gz
# mv filebeat-5.2.2 java
编辑filebeat.yml（输出到elasticsearch）
paths:
- /usr/local/appLogs/*
output.elasticsearch:
# Array of hosts to connect to.
hosts: ["127.0.0.1:9200"]
启动filebeat
./filebeat -e -c filebeat.yml -d "publish"
5) 整合Filebeat、Logstash和ElasticSearch
修改Logstash配置文件logstash.conf
input {
beats {
port => 5044
}
}
修改Filebeat配置文件，注释掉其他的Outputs项，打开logstash的Outputs项
output.logstash:
# The Logstash hosts
hosts: ["127.0.0.1:5044"]
