wenshifang 2018-06-07
1. 声明:rsync inotify 需要逆向思考,当只做rsync不实时同步时,我们一般是从rsync服务端向rsync客户端同步数据。当需要添加inotify实现实时同步数据时,我们就需要从rsync客户端向各rsync服务端同步数据,这样rsync客户端就变成了master,而rsync服务端就变成了slave。
原理:当web3的本地目录,也就是需要同步的目录发生变化时,比如有文件改名、更新、删除、权限变化,此时就使用inotify命令查找这些变化,进行相应的轮询工作
服务器地址分配:
Web1:192.168.1.103 (rsync 服务节点)
Web2:192.168.1.104 (rsync 服务节点)
Web3:192.168.1.105 (rsync 内容发布节点、inotify)
同步的目录是 /mnt ,自动同步顺序为 web2,web3——web1。我们将web1 配置成 rsync 的服务器即可。
2.配置 rsync 服务器端(web1)
[1] 安装rsync软件
# yum install rsync
[2] 手动创建rsync配置文件
# vim /etc/rsyncd.conf uid = root #全局配置开始,运行rsync的用户 gid = root #运行rsync的用户组 usechroot = no #是否让进程离开工作目录 max connections = 20 #最大并发数 timeout = 600 #连接超时时间 pid file = /var/run/rsyncd.pid #指定rsync的pid存放路径 lock file = /var/run/rsync.lock #指定rsync的锁文件存放路径 log file = /var/log/rsyncd.log #指定rsync的日志存放路径 [web_log] #模块配置开始 path = /data/web_log/ #需要备份的文件路径 ignore errors #忽略一些无关的I/O错误 read only = false #false为关闭,true表示开启。表示只读,不允许上传文件 writeonly = false #不允许下载 list = false #客户请求可以使用模块列表时是否被列出 hosts allow = 192.168.1.0/24 #可以访问此模块的主机,*表示任何主机,此处是网段,某个主机直接写ip hosts deny = 0.0.0.0/32 #禁止访问此模块的主机地址 auth users = backuser #自定义连接该模块的用户名,多个用户用逗号分隔 secrets file = /etc/rsync.password #指定一个包含“用户名:密码”格式的文件
[3] 创建备份目录
# mkdir -p /data/web_log/
[4] 建立 rsync 用户名和密码文件
# echo"backuser:123" >> /etc/rsync.password
[5] 为 /etc/rsync.password授权为 600(这个文件的权限必须是 600)
# chmod 600 /etc/rsync.password
[6] 启动rsync并添加开启自动启动
# /usr/bin/rsync --daemon & # echo "/usr/bin/rsync --daemon" >> /etc/rc.local
二、配置 rsync 服务器端(web2),和web1配置一样
# yum install rsync # vim /etc/rsyncd.conf uid = root gid = root usechroot = no max connections = 20 timeout = 600 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log [web_log] path = /data/web_log/ #定义你需要备份的路径,可以跟web1上不一样 ignore errors read only = false writeonly = false list = false hosts allow = * hosts deny = 0.0.0.0/32 auth users = backuser secrets file = /etc/rsync.password # mkdir -p /data/web_log/ # echo "backuser:123" >> /etc/rsync.password # chmod 600 /etc/rsync.password # /usr/bin/rsync --daemon & # echo "/usr/bin/rsync --daemon" >> /etc/rc.local #到此,服务器端配置完成
三、客户端配置(web3):
[1] 设置 rsync 客户端的密码文件,客户端只需要设置 rsync 同步的密码即可,不用设置用户名 # yum install rsync # echo "123" > /etc/rsync.password [2] 将密码文件的权限设置成 600(这个文件的权限必须是600) # chmod 600 /etc/rsync.password
四、配置 Inotify(在 web3上配置)
[1] 安装 inotify 软件包
wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz # yum install gcc #如果没安装gcc的请安装,已安装请跳过此步。 # tar zxf inotify-tools-3.14.tar.gz # cd inotify-tools-3.14 # ./configure && make && make install
[2] 在web3上测试一下是否可以同步文件
rsync -vzrtopg --progress /mnt/ [email protected]::web_log --password-file=/etc/rsync.password #上传文件 rsync -vzrtopg --progress [email protected]::web_log /opt/ --password-file=/etc/rsync.password #下载文件
[3] 写一个脚本来实现,当/mnt/中文件有变化时,让各rsync服务节点同步数据:
# vim /root/inotify.sh #!/bin/bash src=/mnt/ #此文件是rsync客户端本地文件,需要上传到各个rsync服务节点 des1=web_log # web1上需要同步的目录 des2=web_log # web2上需要同步的目录 host1=192.168.1.103 #rsync服务节点1 host2=192.168.1.104 #rsync服务节点2 user1=backuser #连接rsync使用的用户名web1上 user2=backuser #连接rsync使用的用户名web2上 /usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -emodify,delete,create,attrib $src | while read file do /usr/bin/rsync -vzrtopg --delete --progress $src $user1@$host1::$des1 --password-file=/etc/rsync.password /usr/bin/rsync -vzrtopg --delete --progress $src $user2@$host2::$des2 --password-file=/etc/rsync.password echo "${files} was rsynced" >> /var/log/rsync.log 2>&1 done
[4] 或写成如下脚本
# vim /root/inotify.sh #!/bin/bash /usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib /mnt/ | while read file do /usr/bin/rsync -vzrtopg --delete --progress /mnt/ [email protected]::web_log --password-file=/etc/rsync.password /usr/bin/rsync -vzrtopg --delete --progress /mnt/ [email protected]::web_log --password-file=/etc/rsync.password echo "${files} was rsynced" >> /var/log/rsync.log 2>&1 done
[5] 给予执行权限
# chmod +x /root/inotify.sh # /root/inotify.sh & #在后台执行
[6] 最后,将此脚本加入系统自启动文件
# echo "/root/inotify.sh" >> /etc/rc.local
[7] 向/mnt/下添加内容,去103上查看是否同步
# ls /data/web_log/ 1 11 2 3 4 5 6 7 9
[8] 编写监听inotify进程脚本,防止inotify由于某种原因中断无法实时同步(如果不需要监听,此步可以跳过)
# vim /root/inotifyjianting.sh #!/bin/bash ps -lef |pgrep inotify &> /dev/null #如果有inotify进程在运行,那么echo $? 返回值是0,条件为真。否则返回值为非0 if [ -z $? ] ;then #关键在$?这个变量 ,它是代表上一条命令执行后的退出状态,如果是0的话表示成功,非0表示未开启 echo "inotify runing 正在运行...." else /root/inotify.sh & echo "inotify runing 已运行....." fi # chmod +x /root/inotifyjianting.sh
[10] 添加定时任务计划
# crontab -e * * * * * /root/inotifyjianting.sh & > /dev/null