[centos] rsync+inotify实时同步

wenshifang 2018-06-07

1. 声明:rsync inotify 需要逆向思考,当只做rsync不实时同步时,我们一般是从rsync服务端向rsync客户端同步数据。当需要添加inotify实现实时同步数据时,我们就需要从rsync客户端向各rsync服务端同步数据,这样rsync客户端就变成了master,而rsync服务端就变成了slave。

原理:当web3的本地目录,也就是需要同步的目录发生变化时,比如有文件改名、更新、删除、权限变化,此时就使用inotify命令查找这些变化,进行相应的轮询工作

服务器地址分配:

Web1:192.168.1.103 (rsync 服务节点)

Web2:192.168.1.104 (rsync 服务节点)

Web3:192.168.1.105  (rsync 内容发布节点、inotify)

同步的目录是 /mnt ,自动同步顺序为 web2,web3——web1。我们将web1 配置成 rsync 的服务器即可。

2.配置 rsync 服务器端(web1)

[1] 安装rsync软件

# yum install rsync

 [2] 手动创建rsync配置文件

# vim /etc/rsyncd.conf
uid = root                              #全局配置开始,运行rsync的用户
gid = root                              #运行rsync的用户组
usechroot = no                     		#是否让进程离开工作目录
max connections = 20            		#最大并发数
timeout = 600                       	#连接超时时间
pid file = /var/run/rsyncd.pid          #指定rsync的pid存放路径
lock file = /var/run/rsync.lock         #指定rsync的锁文件存放路径
log file = /var/log/rsyncd.log          #指定rsync的日志存放路径
[web_log]                            	#模块配置开始
path = /data/web_log/             		#需要备份的文件路径
ignore errors                         	#忽略一些无关的I/O错误
read only = false                    	#false为关闭,true表示开启。表示只读,不允许上传文件
writeonly = false                    	#不允许下载
list = false                            #客户请求可以使用模块列表时是否被列出
hosts allow = 192.168.1.0/24            #可以访问此模块的主机,*表示任何主机,此处是网段,某个主机直接写ip
hosts deny = 0.0.0.0/32                 #禁止访问此模块的主机地址
auth users = backuser                   #自定义连接该模块的用户名,多个用户用逗号分隔
secrets file = /etc/rsync.password 		#指定一个包含“用户名:密码”格式的文件

 [3] 创建备份目录

# mkdir -p /data/web_log/

 [4] 建立 rsync 用户名和密码文件

# echo"backuser:123" >> /etc/rsync.password

 [5] 为 /etc/rsync.password授权为 600(这个文件的权限必须是 600)

# chmod  600 /etc/rsync.password

 [6] 启动rsync并添加开启自动启动

# /usr/bin/rsync --daemon  &
# echo "/usr/bin/rsync --daemon" >> /etc/rc.local

二、配置 rsync 服务器端(web2),和web1配置一样

# yum install rsync
# vim /etc/rsyncd.conf
uid = root
gid = root
usechroot = no
max connections = 20
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock  
log file = /var/log/rsyncd.log
[web_log]
path = /data/web_log/             #定义你需要备份的路径,可以跟web1上不一样
ignore errors
read only = false
writeonly = false
list = false
hosts allow = *
hosts deny = 0.0.0.0/32
auth users = backuser
secrets file = /etc/rsync.password

# mkdir -p /data/web_log/
# echo "backuser:123" >> /etc/rsync.password
# chmod  600 /etc/rsync.password
# /usr/bin/rsync --daemon  &
# echo "/usr/bin/rsync --daemon" >> /etc/rc.local

#到此,服务器端配置完成

 三、客户端配置(web3):

[1] 设置 rsync 客户端的密码文件,客户端只需要设置 rsync 同步的密码即可,不用设置用户名
# yum install rsync
# echo "123" > /etc/rsync.password
[2] 将密码文件的权限设置成 600(这个文件的权限必须是600)
# chmod 600 /etc/rsync.password

四、配置 Inotify(在 web3上配置)

[1] 安装 inotify 软件包

wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
# yum install gcc        #如果没安装gcc的请安装,已安装请跳过此步。
# tar zxf inotify-tools-3.14.tar.gz
# cd inotify-tools-3.14
# ./configure && make && make install

 [2] 在web3上测试一下是否可以同步文件

rsync -vzrtopg --progress /mnt/ [email protected]::web_log  --password-file=/etc/rsync.password    #上传文件
rsync -vzrtopg --progress  [email protected]::web_log /opt/ --password-file=/etc/rsync.password     #下载文件

 [3] 写一个脚本来实现,当/mnt/中文件有变化时,让各rsync服务节点同步数据:

# vim /root/inotify.sh
#!/bin/bash
src=/mnt/                  #此文件是rsync客户端本地文件,需要上传到各个rsync服务节点
des1=web_log          # web1上需要同步的目录
des2=web_log          # web2上需要同步的目录
host1=192.168.1.103      #rsync服务节点1
host2=192.168.1.104      #rsync服务节点2
user1=backuser                 #连接rsync使用的用户名web1上
user2=backuser                 #连接rsync使用的用户名web2上
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -emodify,delete,create,attrib $src | while read file
do
/usr/bin/rsync -vzrtopg --delete --progress $src $user1@$host1::$des1 --password-file=/etc/rsync.password
/usr/bin/rsync -vzrtopg --delete --progress $src $user2@$host2::$des2 --password-file=/etc/rsync.password
echo "${files} was rsynced" >> /var/log/rsync.log 2>&1
done

 [4] 或写成如下脚本

# vim /root/inotify.sh
#!/bin/bash
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib /mnt/ | while read file
do
/usr/bin/rsync -vzrtopg --delete --progress /mnt/ [email protected]::web_log --password-file=/etc/rsync.password
/usr/bin/rsync -vzrtopg --delete --progress /mnt/ [email protected]::web_log --password-file=/etc/rsync.password
echo "${files} was rsynced" >> /var/log/rsync.log 2>&1
done

 [5] 给予执行权限

# chmod +x /root/inotify.sh
# /root/inotify.sh &        #在后台执行

 [6] 最后,将此脚本加入系统自启动文件

# echo "/root/inotify.sh" >> /etc/rc.local

 [7] 向/mnt/下添加内容,去103上查看是否同步

# ls /data/web_log/
1 11  2  3  4  5  6  7  9

 [8] 编写监听inotify进程脚本,防止inotify由于某种原因中断无法实时同步(如果不需要监听,此步可以跳过)

# vim /root/inotifyjianting.sh
#!/bin/bash
ps -lef |pgrep inotify &> /dev/null    #如果有inotify进程在运行,那么echo $? 返回值是0,条件为真。否则返回值为非0  
if [ -z $? ] ;then                #关键在$?这个变量 ,它是代表上一条命令执行后的退出状态,如果是0的话表示成功,非0表示未开启
echo "inotify runing 正在运行...."
else
/root/inotify.sh &
echo "inotify runing 已运行....."
fi
# chmod +x /root/inotifyjianting.sh

 [10] 添加定时任务计划

# crontab -e
* * * * *     /root/inotifyjianting.sh & > /dev/null

相关推荐