Linux日志分析ELK环境搭建
cullinans 2017-07-08
场景：ELK作为一个日志收集和检索系统，感觉功能还是相当的强大的。
ELK是啥, 其实是是三个组件的缩写, 分别是elasticsearch, logstash, kibana. ELK平台可以用于实现日志收集、日志搜索和日志分析. 当然, 如果你有花不完的money, 完全可以使用商业版的Splunk, Orz...
ELK分别是什么
1). ELK现在都是属于elastic公司的产品, 产品主页.
1.elasticsearch(es): 它是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
2.logstash: 简单说是一个日志收集工具, 可以定义从哪里获取数据, 并且可以简单处理数据, 最后可以定义将数据输出到哪里, 一般输出到es.
3.kibana: 其实就是一个数据展示界面, 并且可以分析数据, 例如从es中读取数据进行展示分析. es自己也带有简单的展示dashboard: http://127.0.0.1:9200/_plugin/head/, 当然 前提是你安装了head插件, 这个下面再说.
2). 简单流程
下面图简单的展示了三组件之间的协作,
1.elasticsearch(es): 它是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
2.logstash: 简单说是一个日志收集工具, 可以定义从哪里获取数据, 并且可以简单处理数据, 最后可以定义将数据输出到哪里, 一般输出到es.
3.kibana: 其实就是一个数据展示界面, 并且可以分析数据, 例如从es中读取数据进行展示分析. es自己也带有简单的展示dashboard: http://127.0.0.1:9200/_plugin/head/, 当然 前提是你安装了head插件, 这个下面再说.
总的来说分成四大部分, 第一, 应用产生数据, 第二, logstash从应用收集数据, 第三, 将数据放入es, 第四, 使用kibana进行数据展示以及分析.
1 准备
1.1 环境检测
本文介绍安装 logstash 2.2.0 和 elasticsearch 2.2.0，操作系统环境版本是
安装 JDK 是必须的，一般操作系统都会有，只是版本的问题，这里在安装的过程中发现ELK大部分都要求1.8以上的JDK，所以果断换1.8版本的JDK省事些。
而 Kibana 只是一个用纯 JavaScript 写的前端 UI。一定要注意 Kibana 的版本，它会要求 ES 的版本。下表展示了kibana和Elasticsearch之间的对应关系：
1.2 软件下载
注意：这三个软件之间的版本如果选择不对，中间会出现很多想不到的问题。我这里的总结是elasticsearch和logstash最好保持版本一直，kibana和es的版本如上表所示的对应。
在网站中搜索下面三个软件的压缩包。https://www.elastic.co/
这里我都是选择Linux 64位的压缩包，然后将这三个文件通过FTP工具上传到自己建立的目录下面，这里以Etest为例。
ps：ELK三个软件的安装基本就是解压，然后执行就可以运行了，所以安装的目录完全可以自己选择。
logstash all plugins 2.2.0 elasticsearch 2.2.0 kibana 4.4.1
1.3 解压缩软件
#将软件解压到/usr/local目录 ##tar -xzvf elasticsearch-5.0.1.tar.gz -C /usr/local #首先切换到软件下载目录，然后将三个软件直接解压到Etset目录 tar -xzvf elasticsearch-2.2.0.tar.gz tar -xzvf logstash-all-plugins-2.2.0.tar.gz tar -xzvf kibana-4.4.1-linux-x64.tar.gz
解压后文件如下图所示：
2 elasticsearch
2.1 启动elasticsearch
ps：启动时候不能以root用户启动，否则会报错。
cd /home/ipsp/Etest/elasticsearch-2.2.0 #启动命令 bin/elasticsearch
正常启动情况的状态如下图所示：
注意：为了能够通过浏览器访问elasticsearch，我们需要配置elasticsearch的配置文件，主要是修改network.host和http.port
http.port: 9200
之所以修改端口，是因为ES 每次启动时，端口可能会变（端口被占用，ES 自己会改端口）~
如果还不能正常启动 ES，并提示端口被占用，就查看一下什么程序占用 9200 端口，kill 掉，重启 ES 就行。
我遇到的，Java 把 9200 端口占用了。
通过上述配置在浏览器就能够访问ElasticSearch了，这里我使用的Chrome浏览器，用360浏览器每次打开都是下载文件，浏览器的问题。
2.2 检测elasticsearch状态
重新打开一个终端，用非root 用户登录， 输入指令来检测Elasticsearch的连通性：
curl -X GET http://localhost:9200#需要先修改elasticsearch的配置文件，参考2.1，这样也能够检测curl -X GET http://168.33.130.224:9200
状态如图所示：
2.3 插件安装
先查看你的 ES 都有哪些插件，这里我已经安装了Head插件，所以直接能看到。
ipsp@ibps:~/Etest/elasticsearch-2.2.0> bin/plugin list
Installed plugins in /home/ipsp/Etest/elasticsearch-2.2.0/plugins:
- head
ipsp@ibps:~/Etest/elasticsearch-2.2.0>
1、安装Head插件
ES 支持在线和本地安装 Head。本地安装时，从 Github 上下载 Head 插件，然后上传到你的 ES 服务器，比如，/home/ipsp/Etest/elasticsearch-2.2.0 目录。
ps：在线安装总是安装失败，这里就讲解下本地安装的过程。
1、本地安装
- 下载插件elasticsearch-head-master
- 执行命令安装
bin/plugin install -v file:plugins/elasticsearch-head-master.zip
[root@vcyber elasticsearch]# bin/plugin install -v file:plugins/elasticsearch-head-master.zip -> Installing from file:plugins/elasticsearch-head-master.zip... Trying file:plugins/elasticsearch-head-master.zip ... Downloading .........DONE Verifying file:plugins/elasticsearch-head-master.zip checksums if available ... NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify) - Plugin information: Name: head Description: head - A web front end for an elastic search cluster Site: true Version: master JVM: false Installed head into /usr/local/elasticsearch/elasticsearch/plugins/head //安装成功的标志
可以通过命令来查看插件是否安装完成：
bin/plugin list
注意：install 选项，ES 的 2.* 版本，都不带“-”横线选项，即“-install”。
注意：若是本地安装，而且，你把 Head 压缩包放到了 Elasticsearch/plugins 目录下，安装后，一定要将 Elasticsearch-head zip 压缩包删掉，否则启动 ES 时会报“不能初始化插件”错误。
- 浏览器访问 http://your ip adress:9200/_plugin/head，你就会看到如下界面：
关于head插件会在后面的部分进行介绍，未完待续
2、在线安装（只是参考）
[root@vcyber elasticsearch]# bin/plugin install mobz/elasticsearch-head -> Installing mobz/elasticsearch-head... Trying https://github.com/mobz/elasticsearch-head/archive/master.zip ... Downloading ...................................................................................................................................................................................................................................................................................................................................................................................................................................DONE Verifying https://github.com/mobz/elasticsearch-head/archive/master.zip checksums if available ... NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify) Installed head into /usr/local/elasticsearch/elasticsearch/plugins/head
2.4 问题汇总
下面有些问题是从别的地方摘抄的，可以借鉴，有的是自己遇到的。
1、java版本不对——更换JDK版本
大意是：Java 运行时异常，本机版本 JDK 有 bug……让升级 JVM。如果实在不能升级，就向 JAVA_OPT 环境变量添加 -XX:-UseSuperWord 选项。
2、elasticsearch 不能用 root 用户运行——切换到非root用户运行
在root用户解压完elasticsearch后出现如下错误：
解决方案：
因为安全问题elasticsearch 不让用root用户直接运行，所以要创建新用户，这里以已有用户cs408为例：
第一步：liunx创建新用户 adduser XXX 然后给创建的用户加密码 passwd XXX 输入两次密码。（已有可以忽略）
第二步：切换刚才创建的用户 su XXX 然后执行elasticsearch 会显示AccessDeniedException 权限不足。
第三步：给新建的XXX赋权限，chmod 777 * 这个不行，因为这个用户本身就没有权限，肯定自己不能给自己付权限。所以要用root用户登录赋予权限。
第四步：root给XXX赋权限，chown -R XXX /你的elasticsearch安装目录。
chown -R cs408 /usr/local/elasticsearch-5.0.1
再次执行就能看到成功输出信息。
bin/elasticsearch
3 logstash
logstash 提供各种安装包，包括 tar.gz，ZIP，DEB 和 RPM。另外，又提供了一个包含所有插件的压缩包——logstash-all-plugins-2.2.0.tar.gz 。本文以它为例。解压后，配置 logstash，运行即可。
3.1 创建配置文件
logstash运行时需要使用配置文件，主要是用于定义内容的输入、输出、中间处理等。
创建配置文件所在目录，并编辑配置文件
cd /home/ipsp/Etest/logstash-2.2.0vim logstash_agent.conf
在配置文件logstash_agent.conf添加如下内容：
上面的配置主要是在logstash命令段输入日志信息，然后将日志输出到elasticsearch中。
ps：注意这里的index选项，我命名的是<span class="pln">logstash--%{+YYYY-MM}，这个在后面的head插件和kibana中都会有所体现的。</span>
3.2 启动
bin/logstash -f logstash_agent.conf
看到如下的内容，便表示成功了
ipsp@ibps:~/Etest/logstash-2.2.0> bin/logstash -f logstash_agent.conf
Settings: Default pipeline workers: 40
Logstash startup completed
3.3 测试
通过上面的配置，我们已经可以在logstash命令端输入信息，然后通过head插件进行查看了：
前提要保证elasticsearch和logstash都正常启动（需要先启动elasticsearch，再启动logstash，不然elasticsearch会报错），head插件也已经正确安装！
我们输入Hello world！
在head插件中的，我们可以看到如下信息：
在数据库浏览中，我们可以看到索引项——<span class="pln">logstash--%{+YYYY-MM}，这个是我们在配置logstash输出到elasticsearch的配置文件中定义的<strong><span style="color: #ff0000;">（logstash_agent.conf）</span></strong>。</span>
我在logstash命令端输入的字符串Hello world！在head的图形化界面能够查看到，其中还包含了其他一些默认的字段。
这里每输出一条信息，在head插件中都能够实时的看到，感觉很强大。
到此，elasticsearch和logstash之间的连通已经搭建成功。
3.4 插件
你可以查看 logstash 都安装了哪些插件
bin/plugin list
ipsp@ibps:~/Etest/logstash-2.2.0> bin/plugin list logstash-codec-avro logstash-codec-cef logstash-codec-cloudfront logstash-codec-cloudtrail logstash-codec-collectd logstash-codec-compress_spooler logstash-codec-dots logstash-codec-edn logstash-codec-edn_lines logstash-codec-es_bulk logstash-codec-fluent logstash-codec-graphite logstash-codec-gzip_lines logstash-codec-json logstash-codec-json_lines logstash-codec-line logstash-codec-msgpack logstash-codec-multiline logstash-codec-netflow logstash-codec-nmap logstash-codec-oldlogstashjson logstash-codec-plain logstash-codec-rubydebug logstash-codec-s3plain logstash-codec-spool logstash-filter-aggregate logstash-filter-alter logstash-filter-anonymize logstash-filter-checksum logstash-filter-cidr logstash-filter-cipher logstash-filter-clone logstash-filter-collate logstash-filter-csv logstash-filter-date logstash-filter-de_dot logstash-filter-dns ....................... .......................
4 kibana
4.1 启动
ipsp@ibps:~/Etest> cd kibana-4.4.1-linux-x64/
ipsp@ibps:~/Etest/kibana-4.4.1-linux-x64> bin/kibana
如果看到类似如下输出，就代表成功了：
ipsp@ibps:~/Etest/kibana-4.4.1-linux-x64> bin/kibana
log [16:59:39.891] [info][status][plugin:kibana] Status changed from uninitialized to green - Ready
log [16:59:39.942] [info][status][plugin:elasticsearch] Status changed from uninitialized to yellow - Waiting for Elasticsearch
log [16:59:39.961] [info][status][plugin:kbn_vislib_vis_types] Status changed from uninitialized to green - Ready
log [16:59:39.974] [info][status][plugin:markdown_vis] Status changed from uninitialized to green - Ready
log [16:59:39.983] [info][status][plugin:metric_vis] Status changed from uninitialized to green - Ready
log [16:59:39.987] [info][status][plugin:spyModes] Status changed from uninitialized to green - Ready
log [16:59:39.991] [info][status][plugin:statusPage] Status changed from uninitialized to green - Ready
log [16:59:39.995] [info][status][plugin:table_vis] Status changed from uninitialized to green - Ready
log [16:59:40.026] [info][listening] Server running at http://168.33.130.224:5601
log [16:59:40.040] [info][status][plugin:elasticsearch] Status changed from yellow to green - Kibana index ready
通过浏览器访问http://168.33.130.224:5601/就可以看到kibana界面了。
配置ES索引：
kibana第一次使用时，会要求创建index，只要按照默认值即可。
首次会提示没有索引。。。。
首先需要加上我们刚刚建立的索引<span class="pln"><span class="pun"><span class="pln"><span class="pun"><span class="pln"><span class="pun"><span class="pln"><span class="pun"><span class="pln"><span class="pun"><span class="pln"><span class="pun"><span class="pln"><span class="str"><span class="pln"><span class="com"><span class="pln"><span class="pun"><span class="pln"><span class="str"><span class="pln"><span class="com"><span class="pln">index <span class="pun">=><span class="pln"> <span class="str">"logstash--%{+YYYY-MM}"<span class="pln"> （这里请参考3.1中的logstash_agent.conf的配置）</span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span>, 点击setting->indices, 在这里我们可以Configure an index pattern, 也就是说可以配置 正则匹配的index,
可以看到默认的index是"logstash-*", 默认是从logstash导出的数据, 因为我们在logstash中配置的索引就是logstash开头的，所以这里我们保持默认不变.
下面还有一个Time-field name, 一般来说time都是一个必要的字段, 并且这个字段的类型是date类型! 不是string!!! 如果没有时间字段, 那么将上面的" Index contains time-based events" 取消就OK.
创建完索引是这样的：
点击菜单栏: Discover, 如果没有看到数据, 那么点击右边的时间, 改成Today, 现在你应该能看到数据了吧...反正我能看到:
ps：这里的时间是以Linux服务器中的时间为主。我这里点today看不到，点的This Week才看到：
在上面可以直接搜索，很方便。其他功能待开发。
4.2 问题
1、出现Configure an index pattern create是灰色的的问题
这个问题是配置文件的问题，修改logstash的配置文件，使其输出到elasticsearch，其中的index选项配置为kibana上的index，比如我是index => "logstash--%{+YYYY-MM}" ，这个时候重启logstash，kibana就保持默认的logstash-*索引既可，应该能够看到Create按钮了
