分布式调度——zookeeper

一、为什么需要zookeeper

大部分分布式应用需要一个主控、协调器或控制器来管理物理分子的子进程（如资源、任务分配等）
大部分应用需要开发私有的协调程序，缺乏一个通用的机制
协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器
协调服务

二、zookeeper简介

1、zookeeper是什么

zookeeper是Google的Chubby一个开源的实现，是开源的分布式协调服务
它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等
zookeeper是一个高性能的分布式数据一致性解决方案，它将那些复杂的，容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并提供一系列简单易用的接口给用户使用
它的架构图：

2、zookeeper能帮我们做什么

分布式系统协调：多个节点一起完成一个动作
- 集群管理
- 选主
- 分布式
负载均衡，一般不使用它

3、zookeeper的数据模型

层次化的目录结构，命名符合常规文件系统规范
每个节点在zookeeper中叫做znode，并且其有一个唯一的路径标识
znode中的数据可以有多个版本，比如某一个路径下存有多个数据版本，那么查询这个路径下的数据就需要带上版本
节点不支持部分读写，而是一次性完整读写

4、zookeeper的下载地址

l 网址：http://mirrors.cnnic.cn/apache/zookeeper/
Linux版：链接: https://pan.baidu.com/s/1W40G2-WM0KUIBpvc2Y2u5A 密码: 7trt

三、zookeeper基本概念

1、集群角色

2、zookeeper节点类型

persistent：persistent节点不和特定的session绑定，不会随着创建该节点的session的结束而消失，而是一直存在，除非该节点被显式删除
ephemeral：ephemeral节点是临时性的，如果创建该节点的session结束了，该节点就会被自动删除，ephemeral节点不能拥有子节点，虽然ephemeral节点与创建它的session绑定，但只要该节点没有被删除，其他session就可以读写该节点中关联的数据，使用-e参数指定创建ephemeral节点
sequence：严格的说，sequence并非节点类型中的一种，sequence节点既可以是ephemeral的，也可以是persistent的，创建sequence节点时，zookeeper server会在指定的节点名称后加上一个数字序列，该数字序列是递增的，因此可以多次创建相同的sequence节点，而得到不同的节点，使用-s参数指定创建sequence节点

3、版本

Version：当前Znode的版本
Cversion：当前Znode的子节点的版本
Aversion：当前Znode的ACL（访问控制）版本

4、watcher

作用于Znode节点
watcher设置后，一旦触发一次就会失效，如果需要一直监听，就需要再次注册
多种事件通知：数据更新，子节点状态等
watcher会监控目录节点的数据变化以及子目录的变化，一旦发送改变，则通知所有设置在这个目录节点的watcher，从而做出相应的反应

5、zookeeper节点和配置常识

zookeeper提高了创建、修改、删除节点的功能，如果父节点没有创建，子节点会创建失败。如果父节点还有子节点，父节点不可以删除
zookeeper和客户端之间以socket形式进行双向通讯，客户端可以主动调用服务器，服务器也可以主动向客户端推送事件
zookeeper的事件有传递机制，子节点的增删改触发的事件会向上层依次传播，所有的父节点都可以收到子节点的数据变更事件，所以层次太深、子节点太多会给服务器的事件系统带来压力，节点分配要做好周密的规划
zookeeper的读性能随着节点数量的提示能不断增加，但是写性能会随着节点数量的增加而降低，所以节点的数量不宜太多，一般配置成3个或者5个就可以了

四、zookeeper的安装

1、单机版

环境准备：1台机器，1个zk

首先，验证本机是否有JDK环境

[ ~]# java -version
java version "1.8.0_102"
Java(TM) SE Runtime Environment (build 1.8.0_102-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)

如果没有java环境，请参考https://www.cnblogs.com/ghh520/p/13239027.html进行安装
下载zookeeper安装包，链接: https://pan.baidu.com/s/12TrG2eaEhAyVHTGJM2BFJQ 密码: aaoo
移植到/usr/local目录下，进行解压
```
[ local]# tar -zxvf zookeeper-3.4.9.tar.gz
```
在zookeeper-3.4.9目录下创建data文件夹，用户存放日志数据
```
[ local]# cd zookeeper-3.4.9/
[ zookeeper-3.4.9]# mkdir data
```

将配置文件复制

[ zookeeper-3.4.9]# cd conf/
[ conf]# cp zoo_sample.cfg zoo.cfg
[ conf]# ll
总用量 16
-rw-rw-r-- 1 1001 1001  535 8月  23 2016 configuration.xsl
-rw-rw-r-- 1 1001 1001 2161 8月  23 2016 log4j.properties
-rw-r--r-- 1 root root  940 4月  23 19:48 zoo.cfg
-rw-rw-r-- 1 1001 1001  922 8月  23 2016 zoo_sample.cfg

[ conf]# vi zoo.cfg

dataDir=/usr/local/zookeeper-3.4.9/data/

启动和查看状态

[ zookeeper-3.4.9]# cd bin/
[ bin]# ./zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[ bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: standalone

关闭zk

[ bin]# ./zkServer.sh stop
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.9/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED

2、伪分布式

环境准备：1台机器，3个zk

先看一下，没有zookeeper在运行

[ bin]# ps aux|grep zoo
root       2602  0.0  0.0 112828   972 pts/0    S+   11:54   0:00 grep --color=auto zoo

将单机的，复制3份

[ local]# cp -R zookeeper-3.4.9/ zookeeper01
[ local]# cp -R zookeeper-3.4.9/ zookeeper02
[ local]# cp -R zookeeper-3.4.9/ zookeeper03

3个zk分别写一个id

[ local]# echo 1 >> zookeeper01/data/myid
[ local]# echo 2 >> zookeeper02/data/myid
[ local]# echo 3 >> zookeeper03/data/myid

分别修改3个配置文件zookeeper01、zookeeper02、zookeeper03，下面以zookeeper01举例修改：
```
[ conf]# pwd
/usr/local/zookeeper01/conf
[ conf]# vi zoo.cfg
```
3个机器的端口和路径修改，端口要不同，3台分别为2181，2182，2183
```
文件里修改ClientPort 2181
```

3台尾部都加上如下，注意修改IP

文件里末尾加上：
server.1=192.168.190.130:2881:3881
server.2=192.168.190.130:2882:3882
server.3=192.168.190.130:2883:3883

其余两台按照上面同样进行修改，3台配置完成之后，去启动
第一台启动，此时会报错，报错属于正常
第二台启动，角色选举正常
第三台启动，角色是跟随者
此时，再次查看第一台的状态是跟随者
可以将3台都分别关闭了

3、完全分布式

环境准备：3台机器，3个zk

首先，关闭防火墙

[ conf]# systemctl status firewalld.service
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)

关闭selinux
```
[ conf]# vi /etc/selinux/config
```
3台主机都起个主机名，分别为node01、node02、node03，其余两台也进行配置
```
[ conf]# vi /etc/hostname 
node01
```

配置映射，互相认识一下，加入一下内容，修改为自己的IP，其余两台同样进行配置

[ conf]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.30.253.113 github.com
151.101.185.194 github.global.ssl.fastly.net
172.16.45.131 node01

172.16.45.132 node02

172.16.45.133 node03

3台修改完都重启一下
```
[ conf]# reboot
```
还可以配置个SSH免密登录
- 第一台机器，生成密钥，一路回车
```
[ conf]# ssh-keygen -t rsa
```
- 在第一台机器中，把密钥传送给3台机器
```
[ conf]# ssh-copy-id node01
[ conf]# ssh-copy-id node02
[ conf]# ssh-copy-id node03
```
开始做完全分布式：
- 如果做了前面的伪分布式，请先删除那3分单机的，再重新复制3分单机的
- 给3台分别写入id
- 3台修改路径，不需要修改clientPort
- 3台文件最后都加上一下内容
```
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888
```
- 第一台机器，将配好的另外2个zk，传给另外2台机器
```
scp -r /usr/local/zookeeper02/ :/usr/local/zookeeper02
scp -r /usr/local/zookeeper03/ :/usr/local/zookeeper03
```
- 3台分别启动和查看状态，1主2从