Consul+Registrator+Docker实现服务发现（nginx反向代理）
岁月如歌 2019-10-29
consul：高可用，分布式的服务发现的工具
master主机—docker01：172.16.1.30
node01主机—docker02：172.16.1.31
node02主机—docker03：172.16.1.32
注意：因为是测试环境，所以暂时关闭防火墙，禁用selinux，如果是对外网发布的服务器，是不可以关闭防火墙，可以设置iptables规则。
项目操作：
（1）docker01上部署consul：
下载或上传consul_1.5.1_linux_amd64软件包：
[ ~]# unzip consul_1.5.1_linux_amd64.zip #使用unzip工具进行一个解压 [ ~]# mv consul /usr/local/bin/ [ ~]# chmod +x /usr/local/bin/consul
[ ~]# consul agent -server -bootstrap -ui -data-dir=/var/lib/consul-data > -bind=172.16.1.30 \ #docker01本机的ip地址 > -client=0.0.0.0 > -node=master
参数解释：
-server：添加一个服务
-bootstrap：一般在server单节点的时候使用，自选举为leader。
-data-dir：指定数据存放的目录
-ui：开启内部的web界面
-bind：指定开启服务的ip
-client：指定服务的客户端
-node：在集群内部通信使用的名称，默认是主机名。
####保持后台运行consul服务：[ ~]# nohup consul agent -server -bootstrap -ui -data-dir=/var/lib/consul-data -bind=172.16.1.30 -client=0.0.0.0 -node=master &
执行后台运行后，会在当前目录下生成一个文件，生成所有的集群信息都会保存在这个文件内：
##查看服务端口是否运行：
8300: 集群节点（对外公布的）
8301: 集群内部访问
8302: 跨数据中心之间的通信
8500: http--UI
8600: dns
##查看consul信息：[ ~]# consul info
说明：consul信息中多为一些算法，这些算法保证数据的同步，以及加上-bootstrap自选举为leader，也是通过这些算法来实现的。
##查看集群内部信息：[ ~]# consul members
登陆访问web界面：http://172.16.1.30:8500
（2）docker02上操作：
部署consul服务：
下载progrium/consul镜像：[ ~]# docker pull myprogrium-consul
##创建一个consul容器，并且加入consul集群中：[ ~]# docker run -d --name consul -p 8301:8301 -p 8301:8301/udp -p 8500:8500 -p 8600:8600 -p 8600:8600/udp --restart=always progrium/consul -join 172.16.1.30 -advertise 172.16.1.31 -client 0.0.0.0 -node=node01
解释：
-join：加入的是docker01的集群，所以指定的是docker01的主机地址
-advertise：通告的是本机（docker02）的地址，
-client：表示所以主机访问该节点
-node：自定义节点名称为node01
确保容器已正常运行：
在网页上查看该节点是否加入：
（3）在docker03上操作：
同样的下载progrium/consul镜像：[ ~]# docker pull myprogrium-consul
运行容器并加入集群：[ ~]# docker run -d --name consul -p 8301:8301 -p 8301:8301/udp -p 8500:8500 -p 8600:8600 -p 8600:8600/udp --restart=always progrium/consul -join 172.16.1.30 -advertise 172.16.1.32 -client 0.0.0.0 -node=node02
#注意需要通告的是自身的ip地址，节点名称为node02
加入集群后，在docker01上查看集群信息：
[ ~]# consul members
浏览web界面查看：
确保node1和node2都已经加入到了集群中
（4）在docker01上安装consul-template：
该软件包可以在github上进行下载，下载路径（可自定义选择版本）：https://releases.hashicorp.com/consul-template/
下载后解压，并给予执行权限：
[ ~]# unzip consul-template_0.19.5_linux_amd64.zip Archive: consul-template_0.19.5_linux_amd64.zip inflating: consul-template [ ~]# mv consul-template /usr/local/bin/ [ ~]# chmod +x /usr/local/bin/consul-template
暂时先安装完，不做其他操作。
（5）部署registrator：
主要用来收集容器运行服务的信息，并且发送给consul。
自动发现docker container提供的服务，并且在后端服务注册中心（数据中心）注册服务。
常见的数据中心有：consul，etcd，zookeeper，相关的技术可以查找相关的技术文档。
在docker02和docker03上部署registrator：
注意：#两台都要部署
docker02：
我导入了一个本地下载好的镜像（在pull进行拉取）：[ ~]# docker load --input myregistrator.tar
运行一个registrator容器：[ ~]# docker run -d --name registrator -v /var/run/docker.sock:/tmp/docker.sock --restart=always gliderlabs/registrator consul://172.16.1.31:8500
以上命令的作用是把收集过来容器的信息给本机的8500端口来显示
访问web网页查看是否收集到容器的信息:
url:http://172.16.1.30:8500/
现在在docker02上运行一个ngnx服务，测试是否能够发现：[ ~]# docker run -d -P --name test nginx
docker03:
执行在docker02同样的操作，查看是否能够发现服务：
下载镜像并创建容器：[ ~]# docker run -d --name registrator -v /var/run/docker.sock:/tmp/docker.sock --restart=always gliderlabs/registrator consul://172.16.1.32:8500
运行nginx服务：[ ~]# docker run -d --name test2 -P nginx
确保容器正常运行：
web网页进行查看：
确保也能够收集到node2上的nginx容器信息。
（6）在docker01上部署nginx，提供反向代理：
1）安装nginx：
安装依赖：[ ~]# yum -y install gcc pcre pcre-devel openssl openssl-devel zlib zlib-devel
创建nginx用户[ ~]# useradd -M -s /usr/sbin/nologin nginx
编译安装:
[ ~]# tar zxf nginx-1.14.0.tar.gz -C /usr/src/ [ ~]# cd /usr/src/nginx-1.14.0/ [ nginx-1.14.0]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module --with-http_realip_module --with-pcre --with-http_ssl_module && make && make install
软链接：[ ~]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
启动nginx：[ ~]# nginx
2）现在就开始部署刚才安装完的consul-template插件了
consul-template的作用：把收集到的信息（把registrator收集到容器的信息）写入template模板中，并且最终写入nginx的配置文件中，通过该模板来实现自动化。
##编写consul-template网页：
[ ~]# cd /usr/local/nginx/ [ nginx]# mkdir consul #在nginx目录下创建存放template网页的目录 [ nginx]# cd consul/ [ consul]# vim nginx.ctmpl
内容如下（以go语言实现）：
upstream http_backend {
{{range service "nginx"}}
server {{.Address}}:{{.Port}};
{{ end }}
}
server {
listen 8000; #监听端口可以自定义，只要不与自己的80端口冲突即可
server_name localhost;
location / {
proxy_pass http://http_backend;
}
}##修改nginx配置文件:[ consul]# vim /usr/local/nginx/conf/nginx.conf
//根据刚才的模板生成一个.conf文件：
[ consul]# consul-template -consul-addr 172.16.1.30:8500 -template "/usr/local/nginx/consul/nginx.ctmpl:/usr/local/nginx/consul/vhost.conf:/usr/local/sbin/nginx -s reload"
注意：执行命令回车后将会卡在终端，所以接下来我们另开一个终端查看。
也可以将其设置为后台运行：（加上nohup和&参数）:[ consul]# nohup consul-template -consul-addr 172.16.1.30:8500 -template "/usr/local/nginx/consul/nginx.ctmpl:/usr/local/nginx/consul/vhost.conf:/usr/local/sbin/nginx -s reload" &
##能看到vhost文件中有node01和node02的地址及端口号，说明nginx代理成功。
(7)实现服务自动发现：
为了验证实现服务发现，在docker02和docker03上创建容器：（基于nginx服务运行）
操作命令如下：
docker02：
mkdir html echo docker02_web01 > html/index.conf docker run -itd --name web01 -v /root/html:/usr/share/nginx/html -P nginx
为了更直观的看到，我们运行第二个nginx容器：
docker run -itd --name web02 -P nginx:latest docker exec -it web02 /bin/bash echo docker02_web02 > /usr/share/nginx/html/index.html
docker03:(同样的创建两个容器)：
docker run -itd --name web03 -P nginx:latest docker exec -it web03 /bin/bash echo docker03-web01 > /usr/share/nginx/html/index.html
docker run -itd --name web04 -P nginx:latest docker exec -it web04 /bin/bash echo docker03-web02 > /usr/share/nginx/html/index.htm
最后验证自动发现的nginx页面：
访问的是代理nginx服务器的地址跟上自定义的访问端口8000
URL：http://172.16.1.30:8000/
第一次访问的页面是代理服务器自身的nginx页面：
第二次访问到的是docker02上的第一个nginx页面：
第三次访问到的是docker02上的第二个nginx页面：
docker03上的nginx1页面：
docker03上的nignx2页面：
至此在Docker上部署集群，实现服务的一个自动发现，已经搭建并测试完毕。。。。。
———————— 本文至此结束，感谢阅读 ————————
