ELK日志收集

技术与更多 2020-05-30

ELK日志收集

Elasticsearch    #数据库,存数据       JAVA
Logstash         #收集日志,过滤数据    JAVA
Kibana           #分析,过滤,展示      JAVA
Filebeat         #收集日志,传输到ES   GO

#日志收集分类
代理层：nginx,haproxy
web层：nginx,tomcat
数据库层：mysql,redis,mongo,elasticsearch
操作系统层：source,message

安装部署

主机名ip地址服务
elast0110.0.1.101es、kibana、nginx、filebeat
web0210.0.1.8nginx、filebeat
docker0110.0.1.205docker、filebeat

elast01操作

#ES安装
[ ~]# yum -y install java-1.8.0
[ ~]# mkdir -p /server/tools
[ tools]# ll
total 111388
-rw-r--r-- 1 root root 114059630 Feb 25  2019 elasticsearch-6.6.0.rpm
[ tools]# 
[ tools]# rpm -ivh elasticsearch-6.6.0.rpm
[ ~]# grep  "^[a-Z]" /etc/elasticsearch/elasticsearch.yml
node.name: node-1
path.data: /data/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 10.0.1.101,127.0.0.1
http.port: 9200
[ tools]# systemctl daemon-reload 
[ ~]# systemctl restart elasticsearch.service 

#安装kibana
[ tools]# rpm -ivh kibana-6.6.0-x86_64.rpm
[ tools]# grep ‘^[a-Z]‘ /etc/kibana/kibana.yml
server.port: 5601
server.host: "10.0.1.101"
server.name: "elast01"
elasticsearch.hosts: ["http://localhost:9200"]
kibana.index: ".kibana"
[ tools]# systemctl start kibana.service
[ tools]# systemctl enable kibana.service

浏览器输入：http://10.0.1.101:5601

ELK日志收集

简单收集nginx日志

#安装nginx
[ ~]# cat /etc/yum.repos.d/nginx.repo
[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true
[ ~]# yum -y install nginx httpd-tools
[ ~]# systemctl start nginx

#进行压测
[ ~]# ab -n 100 -c 100 http://10.0.1.101/

#安装filebeat
[ tools]# rpm -ivh filebeat-6.6.0-x86_64.rpm 
[ tools]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log

output.elasticsearch:
  hosts: ["10.0.1.101:9200"]

[ tools]# 
[ tools]# systemctl restart filebeat

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

收集Nginx的JSON日志

ELK日志收集

ELK日志收集

#nginx修改配置文件
[ ~]# grep -Ev ‘#|^$‘ /etc/nginx/nginx.conf
user  nginx;
worker_processes  1;
error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;
events {
    worker_connections  1024;
}
http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;
    log_format json  ‘{ "time_local": "$time_local", ‘
                          ‘"remote_addr": "$remote_addr", ‘
                          ‘"referer": "$http_referer", ‘
                          ‘"request": "$request", ‘
                          ‘"status": $status, ‘
                          ‘"bytes": $body_bytes_sent, ‘
                          ‘"agent": "$http_user_agent", ‘
                          ‘"x_forwarded": "$http_x_forwarded_for", ‘
                          ‘"up_addr": "$upstream_addr",‘
                          ‘"up_host": "$upstream_http_host",‘
                          ‘"upstream_time": "$upstream_response_time",‘
                          ‘"request_time": "$request_time"‘
‘ }‘;
    access_log  /var/log/nginx/access.log  json;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}
[ ~]# 
[ ~]# echo > /var/log/nginx/access.log 

#修改filebeat文件
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true               #加这两条可以将日志解析成JSON格式

setup.kibana:
  host: "10.0.1.101:5601"

output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  index: "nginx-%{[beat.version]}-%{+yyyy.MM}"     #按月存储日志
setup.template.name: "nginx"          #重新命名模板
setup.template.pattern: "nginx-*"     #以这个名字开头的名字使用重命名的模板
setup.template.enabled: false         #不使用官方的模板
setup.template.overwrite: true        #是否覆盖原来的模板
[ ~]# 
[ ~]# systemctl restart filebeat.service 

#进行压测
[ ~]# ab -n 100 -c 100 http://10.0.1.101/

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

收集Nginx正确和错误日志

ELK日志收集

ELK日志收集

#web02操作
#安装nginx
[ ~]# cat /etc/yum.repos.d/nginx.repo
[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true
[ ~]# yum -y install nginx
[ ~]# yum -y install nginx httpd-tools

#elast01操作
[ ~]# scp  /etc/nginx/nginx.conf :/etc/nginx/

#web02操作
#安装filebeat
[ ~]# mkdir -p /server/tools
[ tools]# rpm -ivh filebeat-6.6.0-x86_64.rpm

#修改filebeat文件
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]

- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

setup.kibana:
  host: "10.0.1.101:5601"

output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  indices:
    - index: "nginx-access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "access"
    - index: "nginx-error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "error"

setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
[ ~]# systemctl restart nginx
[ ~]# systemctl restart filebeat

#进行压测
[ ~]# ab -n 100 -c 100 http://10.0.1.8/
[ ~]# ab -n 100 -c 100 http://10.0.1.8/test.test

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

收集tomcat日志

#web02操作
[ ~]# yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp tomcat-javadoc -y
[ ~]# vim /etc/tomcat/server.xml
<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
138                prefix="localhost_access_log." suffix=".txt"
139                pattern="{&quot;clientip&quot;:&quot;%h&quot;,&quot;ClientUser&quot;:&quot;%l&quot;,&quot;authenticated&quot;:&quot;%u&quot;,&quot;AccessTime&quot;:&quot;%t&quot;,&quot;method&quot;:&quot;%r&quot;,&quot;status&quot;:&quot;%s&quot;,&quot;SendBytes&quot;:&quot;%b&quot;,&quot;Query?string&quot;:&quot;%q&quot;,&quot;partner&quot;:&quot;%{Referer}i&quot;,&quot;AgentVersion&quot;:&quot;%{User-Agent}i&quot;}"/>
140       </Host>
[ ~]# systemctl restart tomcat

#修改filebeat配置文件
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
################nginx####################
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]

- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

#################tomcat#################
- type: log
  enabled: true
  paths:
    - /var/log/tomcat/localhost_access_log.*.txt
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["tomcat"]



setup.kibana:
  host: "10.0.1.101:5601"

output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  indices:
    - index: "nginx-access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "access"
    - index: "nginx-error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "error"
    - index: "tomcat-access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "tomcat"

setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
[ ~]# 
[ ~]# systemctl restart filebeat

#进行压测
[ ~]# ab -n 100 -c 100 http://10.0.1.8:8080/

ELK日志收集

ELK日志收集

ELK日志收集

收集JAVA多行日志

因为java日志的输出信息非常多，需要将多行拼成一个事件，所以需要多行匹配模式
因为elasticsearch本身就是java开发的，所以我们可以直接收集ES的日志

#elast01操作
#修改filebeat配置文件
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
###############nginx##############
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]
################es#################
- type: log
  enabled: true
  paths:
    - /var/log/elasticsearch/elasticsearch.log
  tags: ["es"]
  multiline.pattern: ‘^\[‘
  multiline.negate: true
  multiline.match: after

setup.kibana:
  host: "10.0.1.101:5601"

output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  indices:
    - index: "nginx-access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "access"
    - index: "es-java-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "es"


setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
[ ~]# systemctl restart filebeat

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

收集docker日志

#docker01操作
#启动dokcer容器
[ ~]# docker run -d -p 80:80 nginx:latest 
2f0bd8498bdee28d9a32f1ae240f31f654c560724cb1c0c1845de3d9405a468e
[ ~]# 

#安装filebeat
[ ~]# mkdir /server/tools -p
[ ~]# cd /server/tools/
[ tools]# rpm -ivh filebeat-6.6.0-x86_64.rpm

#编写配置文件收集单个docker日志
[ tools]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: docker
  containers.ids:
    - ‘2f0bd8498bdee28d9a32f1ae240f31f654c560724cb1c0c1845de3d9405a468e‘

setup.kibana:
  host: "10.0.1.101:5601"

output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  index: "docker-%{[beat.version]}-%{+yyyy.MM}"

setup.template.name: "docker"
setup.template.pattern: "docker-*"
setup.template.enabled: false
setup.template.overwrite: true
[ tools]# systemctl restart filebeat

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

收集多个docker日志类型

每个容器的ID都不一样，为了区分不同服务运行的不同容器，可以使用docker-compose通过给容器添加labels标签来作为区分,然后filbeat把容器日志当作普通的json格式来解析并传输到es

#安装doker-compose
[ ~]# yum -y install python2-pip
[ ~]# pip install docker-compose -i https://pypi.tuna.tsinghua.edu.cn/simple
[ ~]# docker-compose version
docker-compose version 1.24.1, build 4667896
docker-py version: 3.7.3
CPython version: 2.7.5
OpenSSL version: OpenSSL 1.0.1e-fips 11 Feb 2013
[ ~]# 

#编写docker-compose.yml
[ ~]# cat docker-compose.yml
version: ‘3‘
services:
  nginx:
    image: nginx:latest
    # 设置labels
    labels:
      service: nginx_v1
    # logging设置增加labels.service
    logging:
      options:
        labels: "service"
    ports:
      - "80:80"
  db:
    image: nginx:latest
    # 设置labels
    labels:
      service: nginx_v2
    # logging设置增加labels.service
    logging:
      options:
        labels: "service"
    ports:
      - "8080:80"

[ ~]# 

#运行docker-compose.yml
[ ~]# docker-compose up -d
[ ~]# docker container ls
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                  NAMES
24b2561d7244        nginx:latest        "nginx -g ‘daemon of…"   18 seconds ago      Up 15 seconds       0.0.0.0:80->80/tcp     root_nginx_1
5c7193eda264        nginx:latest        "nginx -g ‘daemon of…"   18 seconds ago      Up 15 seconds       0.0.0.0:8080->80/tcp   root_db_1
[ ~]# 

#配置filebeat
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/lib/docker/containers/*/*-json.log
  json.keys_under_root: true
  json.overwrite_keys: true

setup.kibana:
  host: "10.0.1.101:5601"

output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  indices:
    - index: "docker-nginx_v1-access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        attrs.service: "nginx_v1"
        stream: "stdout"

    - index: "docker-nginx_v1-error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        attrs.service: "nginx_v1"
        stream: "stderr"

    - index: "docker-nginx_v2-access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        attrs.service: "nginx_v2"
        stream: "stdout"

    - index: "docker-nginx_v2-error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        attrs.service: "nginx_v2"
        stream: "stderr"

setup.template.name: "docker"
setup.template.pattern: "docker-*"
setup.template.enabled: false
setup.template.overwrite: true
[ ~]# systemctl restart filebeat

ELK日志收集

filebeat配置nginx模块

#web02操作
#修改filebeat配置文件
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
setup.kibana:
  host: "10.0.1.101:5601"
output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  indices:
    - index: "nginx_access-%{[beat.version]}-%{+yyyy.MM.dd}"
      when.contains:
        fileset.name: "access"
    - index: "nginx_error-%{[beat.version]}-%{+yyyy.MM.dd}"
      when.contains:
        fileset.name: "error"
setup.template.name: "nginx"
setup.template.pattern: "nginx_*"
setup.template.enabled: false
setup.template.overwrite: true

[ ~]# 

#filebeat modules配置
#使用nginx模版配置需要安装2个插件，默认从官网下载速度太慢，可以提前下载然后离线安装
https://www.elastic.co/guide/en/elasticsearch/plugins/6.6/ingest-geoip.html
https://www.elastic.co/guide/en/elasticsearch/plugins/6.6/plugin-management-custom-url.html
在线安装：
#elast01操作
[ ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install ingest-user-agent
[ ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install ingest-geoip
离线安装:
[ tools]# wget https://artifacts.elastic.co/downloads/elasticsearch-plugins/ingest-user-agent/ingest-user-agent-6.6.0.zip
[ tools]# wget https://artifacts.elastic.co/downloads/elasticsearch-plugins/ingest-geoip/ingest-geoip-6.6.0.zip
[ ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install file:///server/tools/ingest-geoip-6.6.0.zip
[ ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install file:///server/tools/ingest-user-agent-6.6.0.zip
[ ~]# systemctl restart elasticsearch.service 
注意：6.7之后这两个插件默认集成到了elasticsearch，不需要单独安装了

#激活nginx模块：
#web02操作
[ ~]# filebeat modules enable nginx
[ ~]# grep -Ev "#|^$" /etc/filebeat/modules.d/nginx.yml
- module: nginx
  access:
    enabled: true
    var.paths: ["/var/log/nginx/access.log"]
  error:
    enabled: true
    var.paths: ["/var/log/nginx/error.log"]
[ ~]# filebeat modules list
Enabled:
nginx

#修改nginx日志为默认日志
[ ~]# grep -Ev "#|^$" /etc/nginx/nginx.conf 
user  nginx;
worker_processes  1;
error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;
events {
    worker_connections  1024;
}
http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;
    log_format  main  ‘$remote_addr - $remote_user [$time_local] "$request" ‘
                      ‘$status $body_bytes_sent "$http_referer" ‘
                      ‘"$http_user_agent" "$http_x_forwarded_for"‘;
    access_log  /var/log/nginx/access.log  main;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}
[ ~]# echo > /var/log/nginx/access.log 
[ ~]# echo > /var/log/nginx/error.log 
[ ~]# systemctl restart nginx
[ ~]# systemctl restart filebeat

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

导入kibana视图

[ kibana]# filebeat setup
Loaded index template
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
Loaded machine learning job configurations
[ kibana]# 

默认如果使用filbeat模版导入视图会把所有的服务都导入进去,而我们实际上并不需要这么多视图，
而且默认的视图模版只能匹配filebeat-*开头的索引，所以这里我们有2个需要需要解决：
1.通过一定处理只导入我们需要的模版
2.导入的视图模版索引名称可以自定义
解决方法：
1.备份一份filebeat的kibana视图，删除不需要的视图模版文件
2.修改视图文件里默认的索引名称为我们需要的索引名称
[ ~]# cp -a /usr/share/filebeat/kibana /root/
[ ~]# cd /root/kibana/
[ kibana]# rm -rf 5
[ kibana]# cd 6/dashboard/
[ dashboard]# find . -type f ! -name "*nginx*"|xargs rm -rf
[ dashboard]# rm -rf ml-nginx-*
[ dashboard]# ll
total 24
-rw-r--r-- 1 root root  6704 Jan 24  2019 Filebeat-nginx-logs.json
-rw-r--r-- 1 root root 15348 Jan 24  2019 Filebeat-nginx-overview.json
[ dashboard]# 

#替换索引名称
[ dashboard]# sed -i ‘s#filebeat\-\*#nginx\-\*#g‘ Filebeat-nginx-overview.json 
[ dashboard]# cd ../index-pattern/
[ index-pattern]# sed -i ‘s#filebeat\-\*#nginx\-\*#g‘ filebeat.json 

#导入视图
[ ~]# filebeat setup --dashboards -E setup.dashboards.directory=/root/kibana/

#web02操作
#修改filebeat配置文件
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
setup.kibana:
  host: "10.0.1.101:5601"
output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  indices:
    - index: "nginx-access-%{[beat.version]}-%{+yyyy.MM.dd}"
      when.contains:
        fileset.name: "access"
    - index: "nginx-error-%{[beat.version]}-%{+yyyy.MM.dd}"
      when.contains:
        fileset.name: "error"
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
[ ~]# systemctl restart filebeat

使用redis作为缓存收集日志

如果使用redis作为缓存
可以将不同的日志类型单独写成一个键，这样好处是清晰，但是缺点是logstash写起来起来复杂
也可以将所有的日志全部写入到一个键中，然后靠后端的logstash去过滤处理。

#安装redis
[ ~]# yum -y install redis
[ ~]# vim /etc/redis.conf
bind 10.0.1.101
[ ~]# systemctl restart redis

#将nginx的日志调整为json格式
[ ~]#  grep -Ev ‘#|^$‘ /etc/nginx/nginx.conf 
user  nginx;
worker_processes  1;
error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;
events {
    worker_connections  1024;
}
http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;
    log_format json  ‘{ "time_local": "$time_local", ‘
                          ‘"remote_addr": "$remote_addr", ‘
                          ‘"referer": "$http_referer", ‘
                          ‘"request": "$request", ‘
                          ‘"status": $status, ‘
                          ‘"bytes": $body_bytes_sent, ‘
                          ‘"agent": "$http_user_agent", ‘
                          ‘"x_forwarded": "$http_x_forwarded_for", ‘
                          ‘"up_addr": "$upstream_addr",‘
                          ‘"up_host": "$upstream_http_host",‘
                          ‘"upstream_time": "$upstream_response_time",‘
                          ‘"request_time": "$request_time"‘
‘ }‘;
    access_log  /var/log/nginx/access.log  json;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}
[ ~]#

日志写入不同的key中

#修改filebeat写入到不同的key中
[ ~]# cat /etc/filebeat/filebeat.yml
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]

- type: log
  enabled: true 
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

setup.kibana:
  host: "10.0.1.101:5601"

output.redis:
  hosts: ["10.0.1.101"]
  keys:
    - key: "nginx_access"   
      when.contains:
        tags: "access"
    - key: "nginx_error"
      when.contains:
        tags: "error"
[ ~]# systemctl restart filebeat
#进行压测
[ ~]# ab -n 1000 -c 1000 http://10.0.1.101/
[ ~]# ab -n 1000 -c 1000 http://10.0.1.101/nginx
10.0.1.101:6379> KEYS *
1) "nginx_error"
2) "nginx_access"
10.0.1.101:6379> 

#安装logstash
[ tools]# rpm -ivh logstash-6.6.0.rpm

#配置logstash读取不同的key
[ ~]# cat /etc/logstash/conf.d/redis.conf
input {
  redis {
    host => "10.0.1.101"
    port => "6379"
    db => "0"
    key => "nginx_access"
    data_type => "list"
  }
  redis {
    host => "10.0.1.101"
    port => "6379"
    db => "0"
    key => "nginx_error"
    data_type => "list"
  }
}

filter {
  mutate {
    convert => ["upstream_time", "float"]
    convert => ["request_time", "float"]
  }
}

output {
    stdout {}
    if "access" in [tags] {
      elasticsearch {
        hosts => "http://10.0.1.101:9200"
        manage_template => false
        index => "nginx_access-%{+yyyy.MM}"
      }
    }
    if "error" in [tags] {
      elasticsearch {
        hosts => "http://10.0.1.101:9200"
        manage_template => false
        index => "nginx_error-%{+yyyy.MM}"
      }
    }
}
[ ~]# 

#启动logstash
[ ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf

ELK日志收集

日志写入到一个key中

#filebeat收集日志写入到一个key中
[ ~]# cat /etc/filebeat/filebeat.yml 
filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]

- type: log
  enabled: true 
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

setup.kibana:
  host: "10.0.1.101:5601"

output.redis:
  hosts: ["10.0.1.101"]
  key: "nginx"   
[ ~]# systemctl restart filebeat

#logstash根据tag区分一个key里的不同日志
[ ~]# cat /etc/logstash/conf.d/redis.conf
input {
  redis {
    host => "10.0.1.101"
    port => "6379"
    db => "0"
    key => "nginx"
    data_type => "list"
  }
}

filter {
  mutate {
    convert => ["upstream_time", "float"]
    convert => ["request_time", "float"]
  }
}

output {
    stdout {}
    if "access" in [tags] {
      elasticsearch {
        hosts => "http://10.0.1.101:9200"
        manage_template => false
        index => "nginx_access-%{+yyyy.MM}"
      }
    }
    if "error" in [tags] {
      elasticsearch {
        hosts => "http://10.0.1.101:9200"
        manage_template => false
        index => "nginx_error-%{+yyyy.MM}"
      }
    }
}
[ ~]# 

#启动logstash
[ ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf

ELK日志收集

kibana的x-pack监控开启

ELK日志收集

ELK日志收集

ELK日志收集

技术与更多

技术与更多

相关推荐

ElasticSearch 交互使用

tcp 0 0 10.0.0.121:5601 0.0.0.0:* LISTEN 88636/node

李玉志 / 0评论 2020-08-19

操作ElasticSearch插件和可视化工具 Kibana

当 ElasticSearch 的实例并运行，您可以使用 localhost:9200,基于 JSON 的 REST API 与ElasticSearch 进行通信。在 ElasticSearch 自己的文档中，所有示例都使用 curl。但是，当使用 AP

molong0 / 0评论 2020-08-06

在VMware中搭建kibana和elasticsearch

、hostname -I 查看本机当前ip，一会儿我就直接设置这个ip为固定ip了，还涉及到子网掩码啥的，最好不要进行修改，我查出来的结果是：192.168.91.128. 、 vi elasticsearch.yml，去除 network.host 和

YYDU / 0评论 2020-06-21

ElasticSearch 定时批量删除N天前的数据

当时目前我只是完成收集和查看所有日志，那么时间一长我们就会遇到问题，日志一直发到elastic服务器上，日志越来越多，我就需要一个定时删除过期的日志数据的办法。需要定时删除elasticSearch指定过期数据，比如只保留N天数据，超过N天前的数据，直接删

katanaFlower / 0评论 2020-06-21

docker安装elasticsearch和kibana的方法步骤

现在elasticsearch是比较火的，很多公司都在用，所以如果说还不知道es可能就会被人鄙视了。所以这里我就下决心来学习es，我比较钟爱于docker所有也就使用了docker来安装es，这里会详细介绍下安装的细节以及需要注意的地方。关于docker的

AFei00 / 0评论 2020-06-14

elasticsearch + fluentd + kibana 日志收集

cluster.name: ELK-Cluster #ELK的集群名称，名称相同即属于是同一个集群

molong0 / 0评论 2020-06-13

Nginx反代实现Kibana登录认证功能

毕竟X-Pack是商业版。决定采用nginx做反向代理。运行命令后，会要求你连续输入两次密码。server.host: "10.10.17.41"重启 Kibana 及 Nginx 服务使配置生效。接下来浏览器访问 http://IP

kebochina / 0评论 2020-06-11

超强干货！通过filebeat、logstash、rsyslog 几种方式采集 nginx 日志

由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本

wangfengqingyang / 0评论 2020-06-11

packetbeat

下载并安装实现libpcap接口的数据sniffing库，例如Npcap。如果使用Npcap，请确保以WinPcap API兼容模式安装它。如果您打算从loopback设备捕获流量，则还选择支持loopback流量的选项。从下载页面下载Packetbeat

狐狸小七 / 0评论 2020-06-11

EFK的安装和收集docker容器日志展示

通过docker-compose安装es filebeat kibana。而且es一般也是集群，filebeat是每个节点一个，那样的话就得用k8s才方便了）。这里我以一个asp.net core服务为例，docker-compose.yml如下，镜像和服

kuzilala / 0评论 2020-06-11

Elastic Stack：Centos7安装Kibana7.7.1以及开机自启

配置文件的修改：。如果elasticsearch和kibana在一台机器上，则不需要改动。进入kibana的bin目录下，执行命令。kibana默认的端口是5601，在浏览器输入ip地址:5601,即可访问。添加到系统服务，开机自启

技术与更多 / 0评论 2020-06-06

ElasticSearch stack 6.5.4下载地址

ElasticSearch：windows：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.ziphttps://artifacts.elastic.co/d

citic / 0评论 2020-06-06

ELK-Kibana7.7应用

　　kibana 是一个 可视化分析利器,基于 Logstash 的工具, 2013年加入 Elastic 公司.　　Kibana是一个开源的可视化平台,可以为 ElasticSearch 集群的管理提供友好的Web界面,帮助汇总,分析和搜索重要的日志数据

gniMiL / 0评论 2020-06-02

Elasticsearch kibana官方基础本地实践

suggestions、geolocation、percolation、fuzzy 与 partial matching 等特性后面继续慢慢研究

houhow / 0评论 2020-05-31

三. kibana-7.7.0配置

ES开启认证,kibana连接es以及访问es都需要认证,kibana的配置，有两种方法，一种明文的，一种密文。需要首先将用户名密码保存到内置的ketstore里,执行如下三条命令,用户名时候输入kibana,密码输入相应密码:. * 如果需要创建kiba

kebochina / 0评论 2020-05-31

安装kibana7.7.0

Elastic Stack就一套日志分析系统，前身叫ELK。现加入Beats，是一个数据采集器，可以直接上报给elasticsearch，也可以通过logstash中转处理后上报给elasticsearch。

gniMiL / 0评论 2020-05-26

测试服务器简单部署elasticsearch和kibana，实现日志平台

工作需要，在测试环境搭建了一下日志平台，记录一下。正常线上服务器用的最多的应该是ELK，L指的是Logstash ，因为我都没有配置过。网上查了一些资料，感觉Logstash搭建好像比较麻烦，所以直接用了官网上的 轻量级日志采集工具：Beats 。盗用一下

gniMiL / 0评论 2020-05-12

记一次学习kibaba踩过的坑(Windows环境)

安装Kibana的过程中遇到这样的问题。网上搜了好多帖子,如下。但是问题都没有解决。　　再执行cnpm i 命令

技术与更多 / 0评论 2020-05-10

使用metricbeat监控system和nginx

metricbeat.yml配置文件设置：。查看metircbeat开启的模块：./metricbeat modules list,发现默认开启监控的是system模块。nginx.conf中关于stubstatus的配置：。再次加载dashboards：

Caleb0 / 0评论 2020-05-08

Kibana仪表盘(Dashboard)详解

Kibana 仪表板 展示保存的可视化结果集合。在编辑模式下，您可以根据需要安排和调整可视化结果集，并保存仪表板，以便重新加载和共享。您如果之前没有浏览过仪表板，Kibana 会显示一个起始页，在这个页面您可以点击 + 。Kibana 在仪表板上的容器中显

Leonwey / 0评论 2020-05-07

ElasticSearch工具-Kibana

Elasticsearch和kibana版本对应关系

houhow / 0评论 2020-05-03

Elasticsearch基础配置和使用

安装Elasticsearch（建议使用6.0以下的版本，高版本坑太多。比如可以选择5.6.9版本）。Kibana 里面有一个叫做 DevTools 的，可以很方便地以 Restful 风格向 Elasticsearch 服务器提交请求。类似于使用Navi

sifeimeng / 0评论 2020-05-01

SpringBoot+ELK日志系统搭建

“ELK”是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将

技术与更多 / 0评论 2020-04-15

Centos 7.3 简便搭建EFK日志分析

EFK 不是一个软件，而是一套解决方案。EFK 是三个开源软件的缩写，Elasticsearch，FileBeat，Kibana。其中 ELasticsearch 负责日志分析和存储，FileBeat 负责日志收集，Kibana 负责界面展示。它们之间互相

xinlugang / 0评论 2020-04-15

EFK教程-1

# 限制一个进程可以拥有的VMA的数量要超过262144，不然elasticsearch会报max virtual memory areas vm.max_map_count [65535] is too low, increase to at least

houhow / 0评论 2020-04-14

关于kibana启动时有几个warning警告信息的解决办法

关于另一种报错：[browser-driver][reporting] Enabling the Chromium sandbox provides an additional layer of protection. 当X-Pack reporting使

狐狸小七 / 0评论 2020-04-11

elk+filebeat+redis日志系统部署

host IP: 192.168.1.105 安装 elasticsearch、kibana、logstash. 修改环境参数，配置线程个数。useradd elsearch -g elsearch ---添加elsearch用户，并加入elsear

sifeimeng / 0评论 2020-03-27

elasticsearch + kibana　安装

elasticsearch 安装。２．安装步骤：。cd elasticsearch-5.4.1 / bin. ./elasticsearch. kibana 安装。２．安装步骤：。tar -xzf kibana-5.4.3-linux-x86.tar.gz

技术与更多 / 0评论 2020-03-26

Kibana

解压，修改配置文件，，进入config，，修改配置文件。默认是英文界面可以在配置文件修改中文。启动，，这样可以后台启动：。nohup ./bin/kibana & 注意要使用普通用户操作。暂停。。。。。。

gniMiL / 0评论 2020-03-23

Elasticsearch学习整理

把下载的包解压后，在/elasticsearch-7.6.1/plugins文件下建一个文件夹ik，然后把解压的所有内容复制到ik下面。然后重新启动ES，这时可通过kibana进行查操作查看效果。

wchbest / 0评论 2020-03-18

Helm 安装 ElasticSearch &amp; Kibana

Helm 安装 ElasticSearch & Kibana二、提前下载镜像下面是我们需要用到的两个主要镜像，提前将其下载避免下载过慢启动超时而导致失败。data:replicas: 2heapSize: "1536m"#---

tigercn / 0评论 2020-03-05

kibana安装及其配置

kibana安装及其配置1、下载https://artifacts.elastic.co/downloads/kibana/kibana-5.4.3-x86_64.rpm2、安装、修改配置yum install -y kibana-5.4.3-x86_64

goodstudy / 0评论 2020-03-05

elasticsearch+filebeat+kibana jmeter分布式日志

步骤：1，wget filebeat，解压；filebeat.inputs:- type: log enable: true paths: -/var/log/*.log multiline.pattern:^[0-9]{4}-[0-9]{2}

AngelaDan / 0评论 2020-03-04

Elasticsearch + Kibana 简单安装使用

配置hosts 文件，然后运行 bin\kibana.bat ；

技术与更多 / 0评论 2020-02-25

ELK原理与介绍

一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决

superviser000 / 0评论 2020-02-20

安装Elasticsearch+Kibana【单节点、多ES实例】

下面过程注重流程，仅给出关键过程的细节。　　ElasticSearch 6.8.4 + Kibana 6.8.4，两者版本最好匹配不然会出现告警、报错之类。ES、Kibana以及ELK套餐都可以从这个链接中下载。　　　　确保JDK版本在1.8及以上，Lin

kebochina / 0评论 2020-02-20

ELK环境的部署与安装

Elasticsearch：是一个高度可扩展的开源全文搜索和分析引擎。能够快速，实时的存储，搜索和分析大量数据，通常用做底层引擎技术。Logstash可以动态统一来自不同来源的数据，并将数据标准化到所在的目录文件中。在安装这些软件的首要准备就是 需要最新的

李玉志 / 0评论 2020-02-19

kibana下载与安装

Kibana是一个为ElasticSearch 提供的数据分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。安装之前有话说：。网址选择对应的产品和版本，这里选择kibana6.5.4，单击Download或者用 直接网址。下载到本

技术与更多 / 0评论 2020-02-18

Docker 搭建一个Elasticsearch 7.5.1集群+kibana 7.5.1

如果需要安装kibana等其他，需要创建一个网络，名字任意取，让他们在同一个网络，使得es和kibana通信。[1]: max virtual memory areas vm.max_map_count [65530] is too low, increa

vtnews / 0评论 2020-02-14

fluentd 收集 k8s 到 elasticsearch

1. 部署elasticsearch + kibana. apiVersion: v1. kind: PersistentVolume. metadata:. name: es-data-pv. spec:. capacity:. storage: 10G

东杰书屋 / 0评论 2020-01-28

Docker-compose 建立ELK集群的实现方法

全部编排文件和配置文件可以访问我的Github ，大家只要修改配置文件中的路径即可快速搭建一个3实例的ES集群和一个Kibana实例。计划创建3个ES实例组成一个集群，同时创建一个Kibana实例连接该集群。每个ES实例使用本地配置文件，方便配置文件的保存

码农后花园 / 0评论 2020-01-16

EFK教程(5) - ES集群开启用户认证

elasticsearch-建立本地内置用户。filebeat-在WEB界面创建角色及用户。在第一篇《EFK教程 - 快速入门指南》中，阐述了EFK的安装部署，其中ES的架构为三节点，即master、ingest、data角色同时部署在三台服务器上。在第三

wenwentana / 0评论 2020-01-24

1-2 kibana 7.5.1 安装配置

# Kibana is served by a back end server. This setting specifies the port to use.# Specifies the address to which the Kibana serv

gniMiL / 0评论 2020-01-17

Centos7 为es安装kibana

Kibana是一个针对Elasticsearch的开源分析可视化平台，使用Kibana可以查询，查看并存储在ES索引的数据进行交互操作，使用Kibana能执行高级的数据分析，并且以图表，表格和地图的形式查看数据。

kebochina / 0评论 2020-01-17

elk 入门

查看filebeat的配置文件。通过chrom插件 elasticsearch head 查看

技术与更多 / 0评论 2020-01-13

windows 系统下安装kibana和sense

下面进行下载和安装kibana。目前.zip是bibana唯一支持Windows的唯一安装包。kibana就启动成功了，默认端口5601.windows环境，kibana默认与本地ElasticSearch服务自动连接。

houhow / 0评论 2020-01-10

ELK部署

公司网站的访问量有多大，访问高峰期的时间段是多少，最经常访问的热点数据是什么？这一切的一切，虽然我们可以自己通过shell等手段截取出来，但是如果网站多了，服务器多了，还是非常不方便，而且阅读性也不好，因此ELK应运而生，不仅可以获取访问高峰期，还可以制作

狐狸小七 / 0评论 2020-01-10

centos7搭建EFK

创建一个yum源文件。hosts: ["localhost:9200"] # ip改成部署了elasticsearch服务的机器ip, 我这里是一台机器,所以localhost等于11.22

sifeimeng / 0评论 2020-01-02

Logstash Filebeat 安装配置之使用 Kibana 分析日志数据

Logstash 是用于管理事件和日志的开源工具。它为数据收集提供实时传递途径。本教程的目地是使用Logstash来收集服务器的syslog，并设置Kibana可视化收集的日志。Logstash：处理传入日志的的服务器组件Elasticsearch：存储所

kebochina / 0评论 2020-01-02