YYDU 2020-06-21
(1)、安装了VMware
(2)、安装了centos7,其他操作系统也可以
1、从官网jdk下载安装包
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
我用的包名:jdk-8u251-linux-x64.rpm
cd /home/ groupadd log-assembly useradd es -g log-assembly -p es useradd kibana -g log-assembly -p kibana cd /opt/ yum install jdk-8u251-linux-x64.rpm
2、从官网下载elasticsearch和kibana安装包
地址:https://www.elastic.co/cn/downloads/past-releases#kibana
选择你要下载的elasticsearch和kibana版本,这两个的版本需要一致,我用的6.4.2
3、将下载的elasticsearch安装包上传到/home/es目录
4、将下载的kibana安装包上传到/home/kibana目录
5、安装elasticsearch
tar -zxvf elasticsearch-6.4.2.tar.gz chown -R es:log-assembly /home/es/ chown -R kibana:log-assembly /home/kibana/
6、修改虚拟机中机器的ip
背景:因为我们的虚拟机是使用的NAT桥接模式,这样每次重启后机器的ip都会变化,所以需要设置固定的ip
(1)、hostname -I 查看本机当前ip,一会儿我就直接设置这个ip为固定ip了,还涉及到子网掩码啥的,最好不要进行修改,我查出来的结果是:192.168.91.128
(2)将IP地址修改为静态模式 vi /etc/sysconfig/network-scripts/ifcfg-ens33, 你的可能不是这个文件,但也是在network-scripts目录下
(3)修改如下后重启下系统
onboot=yes bootproto=static IPADDR=192.168.91.128 # 这里需要根据你的网关等进行修改
7、修改elasticsearch的配置文件
(1)、cd /home/es/elasticsearch-6.4.2/config/
(2)、 vi elasticsearch.yml,去除 network.host 和 http.port 之前的注释,并将 network.host 的 IP 地址修改为本机外网 IP
network.host: 192.168.91.128 http.port: 9200
8、启动elasticsearch测试验证,启动成功了就Ctrl+c 退出继续下一步吧(报错信息解决)
cd /home/es/elasticsearch-6.4.2/bin ./elasticsearch curl -get localhost:9200
9、安装kibana
(1)切换目录及用户
cd /home/kibana/ su kibana tar -zxvf kibana-6.4.2-linux-x86_64.tar.gz
(2)取消注释并修改配置:vi /home/kibana/kibana-6.4.2-linux-x86_64/config/kibana.yml
server.port: 5601 server.host: "0.0.0.0" elasticsearch.url: "http://IP地址:9200" kibana.index: ".kibana"
(3)进入 /home/kibana/kibana-6.4.2-linux-x86_64/bin 下执行 ./kibana 启动kibana
(4)如果在浏览器里访问不通,排查防火墙的问题:https://www.cnblogs.com/cxxjohnson/p/8260520.html, 我用root执行了这个语句就可以了
firewall-cmd --zone=public --add-port=5601/tcp --permanent firewall-cmd --reload
这篇文章参考链接:http://javavipblog.com/2019/01/10/ELK/搭建EFK日志分析系统/
后期搭建集群可以参考的链接:
https://zhuanlan.zhihu.com/p/29191403
另外一部分,则需要先做聚类、分类处理,将聚合出的分类结果存入ES集群的聚类索引中。数据处理层的聚合结果存入ES中的指定索引,同时将每个聚合主题相关的数据存入每个document下面的某个field下。