rsync+inotify实现数据的实时同步

rsync是Linux/UNIX下的文件同步和数据传输工具。rsync即remote sync,有如下特性:

1>可以镜像保存整个目录树和文件系统

2>可以增量同步数据,文件传输效率高

3>可以保持原有文件的权限,时间等属性

4>加密传输数据,保证数据安全性

5>支持匿名传输


rsync的4中应用模式:

1>shell应用模式,也成本地模式

2>远程shell模式,利用SSH执行底层连接和加密传输

3>查询模式,也称列表模式

4>服务模式,即rsync服务器


rsync的不足

1>rsync同步数据时需要扫描所有的文件后进行对比,然后进行差量传输。如果文件数量太大,rsync就显得非常低效

2>rsync不能实时监测、同步数据


inotify是一种强大的、细粒度的、异步的文件系统事件监控机制。Linux内核从2.6.13.开始加入对inotify的支持。

通过inotify可以监控文件系统中添加、删除、修改、移动等各种细微事件,利用内核接口,第三方软件可以 监控文件系统的各种变化。


inotify-tools就是一个三方软件,安装完后会生成inotifywait和inotifywatch两个命令:

   inotifywait用于等待文件或文件集上的一个特定事件,可以监控任何文件和目录设置,并且可以递归地监控整个目录树;inotifywatch用于收集被监控的文件系统统计数据,包括每个inotify事件发生多少次等信息。


/proc/sys/fs/inotify/max_queued_events  表示调用inotify_init时分配到inotify instance中可排队的event数的最大值,超出这个值得事件丢弃,但触发IN_Q_OVERFLOW事件。

/proc/sys/fs/inotify/max_user_instances 表示每一个real user ID可以创建的inotify instance数量的上限

/proc/sys/fs/inotify/max_user_watches 表示每个inotify实例相关联的watches的上限,也就是每个inotify实例可监控的最大目录数量,如果监控文件数量巨大,需要根据情况适当的增加此值的大小。



inotifywait是一个监控等待事件:

 -m,monitor表示始终保持事件监听状态

 -r,recursive表示递归查询目录

 -q,quit表示打印出监控事件

 -e,event指定要监控的事件,常见的事件有modify,delete,create和attrib等



案例:保证3台web服务器上的文件是一致的。

1、安装rsync和inotify-tools

inotify-tools是监控文件系统变化的工具,安装到内容发布节点,3服务节点安装rsync。

说明:inotify-tools节点充当rsync客户端的角色,3台服务节点充当rsync服务器角色,整个数据同步过程就是一个从客户端向服务端发送数据的过程。

2、服务节点上配置rsync

vim rsyncd.conf

uid = nobody

gid = nobody

use chroot = no

max connections = 10

strict modes = yes

pid file = /var/run/rsyncd.pid

locak file = /var/run/rsync.lock

log file = /var/log/rsyncd.log


[web1]

path = /web1/wwwroot/

comment = web1 file

ignore errors

read only = no

write only = no

hosts allow = inotift-tools_ipaddress

hosts deny = *

list = false

uid = root

gid = root

auth users = web1user

secrets file = /etc/web1.pass

再配置完上3台服务节点后,依次启动rsync:echo "/usr/local/bin/rsync --daemon" >> /etc/rc.local


3、配置内容分布节点inotify-tools

目的是将生成的html网页实时同步到集群中的服务节点上。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章