正文

Sersync实时同步

IP云
IP云V管理员/4 阅读
11/28
提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

sersync会对目录进行监控，将变化的目录或文件同步到远程服务器。sersync是递归监控的，如果有多级目录 ，都会同步到远程服务器。
sersync依赖于rsync进行同步，在同步主服务器上开启sersync，将监控路径中的文件同步到目标服务器，因此需要在主服务器配置sersync,在同步目标服务器上配置rsync。
1、在目标服务器上的配置
rsync配置： 
vim /etc/rsyncd.conf

uid = root

gid = root

max connections =   #最大连接数

use chroot = yes

log file = /var/log/rsyncd.log

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsyncd.lock

#motd file = /etc/rsyncd.Motd #rsync启动时欢迎信息页面文件位置（文件内容自定义）

[tongbu1]

path=/opt/tongbu1

comment = breeze video files

ignore errors = yes`

read only = no

hosts allow = 192.168.0.100

hosts deny = *

auth users = rsyncadmin     #用于rsync同步认证的用户,如果有多个，可用逗号隔开

secrets file = /etc/rsync.pas # rsyncadmin密码认证文件，必须为600权限，否则rsync传输会报错

创建/etc/rsync.pas文件： 

echo "rsyncadmin:123456" > /etc/rsync.pas
上述配置，允许主服务器同步文件，且将同步过来的日志放入/opt/tongbu1目录中。
启动rsync守护进程： 
rsync --daemon

2、在主服务器上的配置

创建rsync密码认证文件： 

echo "" > /etc/rsync.pas

调整内核参数： 

sysctl -w fs.inotify.max_queued_events=""   #inotify队列最大长度，如果值太小，会出现"** Event Queue Overflow **"错误，导致监控文件不准确

sysctl -w fs.inotify.max_user_watches=""       #要同步的文件包含多少目录，可以用find /opt/tongbu1 -type d | wc -l 统计，必须保证max_user_watches值大于统计结果

sysctl -w fs.inotify.max_user_instances=""    #每个用户创建inotify实例最大值

sersync安装： 

wget http://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz

tar xf sersync2..4_64bit_binary_stable_final.tar.gz

cp  GNU-linux-x86 /usr/local/sersync

cd /usr/local/sersync

mkdir conf bin log

mv confxml.xml conf/

mv sersync2 bin/

sersync配置文件： 

vim /usr/local/sersync/conf/confxml.xml

<?xml version="1.0" encoding="ISO-8859-1"?>

<head version="2.5">

   # 设置本地IP和端口

   <host hostip="localhost" port=""></host>

   # 开启DUBUG模式

   #注：设置为true，开启debug模式，会在sersync正在运行的控制台，打印inotify事件与rsync同步命令。

   <debug start="false"/>

   # 开启xfs文件系统

   #注：对于xfs文件系统的用户，需要将这个选项开启，才能使sersync正常工作

   <fileSystem xfs="false"/>

   # 同步时忽略推送的文件(正则表达式),默认关闭

   #注：该配置在测试时似乎有bug，本人在测试过滤时，同步/var/www/html，但忽略/var/www/html/cache/，默认确实可以忽略下直属/var/www/html/cache下的文件或目录，但假使/var/www/html/cache下还有个目录叫test,即/var/www/html/cache/test目录，这个时候如果在sersync端更新了/var/www/html/cache/test目录中的文件，则依然会被同步，简单来说，就是无法实现递归过滤。这显然不是我们想要的结果。所以在生产环境中，建议过滤还是通过rsync端的exclude来实现。

   <filter start="false">

       <exclude expression="(.*)\.svn"></exclude>

       <exclude expression="(.*)\.gz"></exclude>

       <exclude expression="^info/*"></exclude>

       <exclude expression="^static/*"></exclude>

   </filter>

  # 设置要监控的事件

  #注：对于大多数应用，可以尝试把createFile（监控文件事件选项）设置为false来提高性能，减少 rsync通讯。因为拷贝文件到监控目录会产生create事件与close_write事件，所以如果关闭create事件，只监控文件拷贝结束时的事 件close_write，同样可以实现文件完整同步。

#如果将createFolder设为false，则不会对产生的目录进行监控，该目录下的子文件与子目录也不会被监控。

#默认情况下对创建文件（目录）事件与删除文件（目录）事件都进行监控，如果项目中不需要删除远程目标服务器的文件（目录），则可以将delete 参数设置为false，则不对删除事件进行监控。

   <inotify>

       <delete start="true"/>

       <createFolder start="true"/>

       <createFile start="false"/>

       <closeWrite start="true"/>

       <moveFrom start="true"/>

       <moveTo start="true"/>

       <attrib start="true"/>

       <modify start="true"/>

</inotify>

   <sersync>

   # 本地同步的目录路径

       <localpath watch="/data">

   # 远程IP和rsync模块名

           <remote ip="192.168.0.101" name="tongbu1"/>

           <remote ip="192.168.0.102" name="tongbu1"/>

       </localpath>

       <rsync>

   # rsync指令参数

           <commonParams params="-auvzP"/>

   # rsync同步认证

           <auth start="true" users="sersync" passwordfile="/etc/rsync.pas"/>

   # 设置rsync远程服务端口，远程非默认端口则需打开自定义

           <userDefinedPort start="false" port=""/><!-- port= -->

   # 设置超时时间

           <timeout start="true" time=""/><!-- timeout= -->

   # 设置rsync+ssh加密传输模式,默认关闭，开启需设置SSH加密证书

           <ssh start="false"/>

       </rsync>

    # sersync传输失败日志脚本路径，每隔60会重新执行该脚本，执行完毕会自动清空。

       <failLog path="/usr/local/sersync/log/rsync_fail_log.sh" timeToExecute=""/><!--default every 60mins execute once-->

    # 设置rsync+crontab定时传输，默认关闭

    注：crontab可以对监控路径与远程目标主机每隔一段时间进行一次整体同步，可能由于一些原因两次失败重传都失败了，这个时候如果开启了crontab功能，还可以进一步保证各个服务器文件一致，如果文件量比较大，crontab的时间间隔要设的大一些，否则可能增加通讯开销。schedule这个参数是设置crontab的时间间隔，默认是600分钟

如果开启了filter文件过滤功能，那么crontab整体同步也需要设置过滤，否则虽然实时同步的时候文件被过滤了，但crontab整体同步的时候如果不单独设置crontabfilter，还会将需过滤的文件同步到远程，crontab的过滤正则与filter过滤的不同，也给出了两个实例分别对应与过滤文件与目录。总之如果同时开启了filter与crontab，则要开启crontab的crontabfilter，并按示例设置使其与filter的过滤一一对应。

       <crontab start="false" schedule=""><!--600mins-->

           <crontabfilter start="false">

               <exclude expression="*.php"></exclude>

               <exclude expression="info/*"></exclude>

           </crontabfilter>

       </crontab>

   # 设置sersync传输后调用name指定的插件脚本，默认关闭

       <plugin start="false" name="command"/>

   </sersync>

   # 插件脚本范例

   <plugin name="command">

       <param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->

       <filter start="false">

           <include expression="(.*)\.php"/>

           <include expression="(.*)\.sh"/>

       </filter>

   </plugin>

   # 插件脚本范例

   <plugin name="socket">

       <localpath watch="/opt/tongbu">

           <deshost ip="192.168.138.20" port=""/>

       </localpath>

   </plugin>

   <plugin name="refreshCDN">

       <localpath watch="/data0/htdocs/cms.xoyo.com/site/">

           <cdninfo domainname="ccms.chinacache.com" port="" username="xxxx" passwd="xxxx"/>

           <sendurl base="http://pic.xoyo.com/cms"/>

           <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>

       </localpath>

   </plugin>

</head>

3、sersync启动参数

1）在主服务器开启sersync守护进程，使sersync在后台运行，开启实时同步 
./sersync -d

2)在开启实时监控之前对主服务器目录与远程目标机目录进行一次整体同步 

./sersync -r

如果设置了过滤器，即在xml文件中，filter为true，则暂时不能使用-r参数进行整体同步。-r参数将会无效。

3)指定配置文件 

./sersync -o XXX.xml

对于sersync使用可执行文件目录下的默认配置文件confxml.xml，如果需要使用另一个配置文件，可以使用-o参数指定其它配置文件。也可开启多个sersync守护进程分别使用不同的配置文件。

4)指定默认的线程池的线程总数 

./sersync -n num

例如， ./sersync -n 5则指定线程总数为5，如果不指定，默认启动线程池数量是10，如果cpu使用过高，可以通过这个参数调低，反之亦然。

5)不进行同步，只运行插件 

./sersync -m pluginName

例如，./sersync -m command ，则在监控到文件事件后，不对远程目标服务器进行同步，而是直接运行command插件。

相关阅读

目录[+]