ELK_安科网

ELK简介

ELK是三个开源软件的缩写，分别为：Elasticsearch 、 Logstash以及Kibana , 它们都是开源软件。不过现在还新增了一个Beats，它是一个轻量级的日志收集处理工具(Agent)，Beats占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具，目前由于原本的ELK Stack成员中加入了 Beats 工具所以已改名为Elastic Stack。

一 Elastic Stack包含：

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。详细可参考Elasticsearch权威指南

Logstash：主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana：也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

Beats：在这里是一个轻量级日志采集器，其实Beats家族有6个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比 Logstash，Beats所占系统的CPU和内存几乎可以忽略不计

ELK Stack （5.0版本之后）--> Elastic Stack == （ELK Stack + Beats）。目前Beats包含六种工具：

Packetbeat：网络数据（收集网络流量数据）

Metricbeat：指标（收集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）

Filebeat：日志文件（收集文件数据）

Winlogbeat： windows事件日志（收集 Windows 事件日志数据）

Auditbeat：审计数据（收集审计日志）

Heartbeat：运行时间监控（收集系统运行时的数据）

二：elasticsearch的概念：

索引：类型：文档：倒排索引：

比如一首诗，有诗题、作者、朝代、字数、诗内容等字段，那么首先，我们可以建立一个名叫 Poems 的索引，然后创建一个名叫 Poem 的类型，类型是通过 Mapping 来定义每个字段的类型。比如诗题、作者、朝代都是 Keyword 类型，诗内容是 Text 类型，而字数是 Integer 类型，最后就是把数据组织成 Json 格式存放进去了。

索引 poems

类型：

poem:{
 properties:{
        title:{
    type:keyword
 }
   author:{
     type:keyword.
}
   dynasty:{
   type:keyword
}

文档

{
  title:静夜思
  author:李白
  dynasty:唐
  context: 床前明月光，疑是地上霜。举头望明月，低头思故乡。
}

倒排索引：在关系型数据库中通过索引能直接搜索到相应的行，但是倒排索引不是他是通过搜索一个或多个词搜索到对应的文档的编号，在根据文件的编号找到相应的文件。（个人总结）

三：运维架构

四：部署elasticsearch

elasticsearch是一个分布式集群，

1时间同步是必要的条件，

2 关闭防火墙和selinux

3 java 环境，elasticsearch 基于java 开发，jdk环境要求必须是1.8及以上版本。

export JAVA_HOME=/usr/local/jdk
 export PATH=$PATH:$JAVA_HOME/bin

4 source /etc/profile

5 配置文件：

src]# grep -v ^# /etc/elasticsearch/elasticsearch.yml** 

cluster.name: my-application
node.name: node-1
path.data: /elasticsearch/data
path.logs: /elasticsearch/log
bootstrap.memory_lock: true 服务启动的时候锁定足够的内存，防止数据写入swap**
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.48.11", "192.168.48.12"]

5.2:手动创建 /elasticsearch/{data,log} 目录并修改属主和属组；

5.3 systemctl start elasticsearch. 查看服务日志

elasticsearch 默认情况下其监听非本地地址时，会进行生产模式，在此模式下，会严格检查JDK环境和各种环境。如果没有将直接报错无法启动服务。

cat my-application-2019-10-20.log

此时jdk的环境检查不符合要求需要安装稳定版的jdk环境。此时直接启动失败。

5.4 elasticsearch 启动后将开启9200 和9300端口，其中9200端口为对外API 端口，9300为集群通信端口。

查看集群节点的健康状态：

curl -sXGET

六：部署logstash

logstash 一样也需要jdk环境，注意无论是elasticsearch 还是logstash kibana 都三个版本必须是一致。
在调试过程中可以基于命令的方式来启动logstash
logstash -f 配置文件 -t 检查语法

vim /etc/logstash/conf.d/test.conf

1 从标准输入读取从标准输出

input {
  stdin { }
}

output {
  stdout {
}

ELK

相关推荐