lsyncd實時同步搭建指南——取代rsync+inotify

1. 幾大實時同步工具比較

1.1 inotify + rsync

最近一直在尋求生產服務服務器上的同步替代方案，原先使用的是inotify + rsync，但隨着文件數量的增大到100W+，目錄下的文件列表就達20M，在網絡狀況不佳或者限速的情況下，變更的文件可能10來個才幾M，卻因此要發送的文件列表就達20M，嚴重減低的帶寬的使用效率以及同步效率；更爲要緊的是，加入inotifywait在5s內監控到10個小文件發生變化，便會觸發10個rsync同步操作，結果就是真正需要傳輸的才2-3M的文件，比對的文件列表就達200M。使用這兩個組合的好處在於，它們都是最基本的軟件，可以通過不同選項做到很精確的控制，比如排除同步的目錄，同步多個模塊或同步到多個主機。

搭建過程參考 Linux下同步工具inotify+rsync使用詳解或這裏。

1.2 sersync

後來聽同事說 sersync 這麼個工具可以提高同步的性能，也解決了同步大文件時出現異常的問題，所以就嘗試了一下。sersync是國內的一個開發者開源出來的，使用c++編寫，採用多線程的方式進行同步，失敗後還有重傳機制，對臨時文件過濾，自帶crontab定時同步功能。網上看到有人說性能還不錯，說一下我的觀點：

國產開源，文檔不是很全，在2011年之後就沒更新了（googlecode都要快關閉了，其實可以轉交其他人維護），網上關於它的使用和討論都止於10年了
採用xml配置文件的方式，可讀性比較好，但是有些原生的有些功能沒有實現就沒法使用了
無法實現多目錄同步，只能通過多個配置文件啓動多個進程
文件排除功能太弱。這個要看需求，不是每個人都需要排除子目錄。而對於我的環境中，這個功能很重要，而且排除的規則較多
雖然提供插件的功能，但很雞肋，因爲軟件本身沒有持續更新，也沒有看到貢獻有其它插件出現（可能是我知識面不夠，還用不到裏面的refreshCDN plugin）。

雖然不懂c++，但大致看了下源碼 FileSynchronize，拼接rsync命令大概在273行左右，最後一個函數就是排除選項，簡單一點可以將--exclude=改成--eclude-from來靈活控制。有機會再改吧。

另外，在作者的文章 Sersync服務器同步程序項目簡介與設計框架評論中，說能解決上面 rsync + inotify中所描述的問題。閱讀了下源碼，這個應該是沒有解決，因爲在拼接rsync命令時，後面的目的地址始終是針對module的，只要執行rsync命令，就會對整個目錄進行遍歷，發送要比對的文件列表，然後再發送變化的文件。sersync只是減少了監聽的事件，減少了rsync的次數——這已經是很大的改進，但每次rsync沒辦法改變。（如有其它看法可與我討論）

其實我們也不能要求每一個軟件功能都十分健全，關鍵是看能否滿足我們當下的特定的需求。所謂好的架構不是設計出來的，而是進化來的。目前使用sersync2沒什麼問題，而且看了它的設計思路應該是比較科學的，特別是過濾隊列的設計。雙向同步看起來也是可以實現。

1.3 lsyncd

廢話說這麼多，本文就是介紹它了。有些博客說lsyncd是谷歌開源的，實際不是了，只是託管在了googlecode上而已，幸運的是已經遷移到github了：https://github.com/axkibe/lsyncd 。

Lysncd 實際上是lua語言封裝了 inotify 和 rsync 工具，採用了 Linux 內核（2.6.13 及以後）裏的 inotify 觸發機制，然後通過rsync去差異同步，達到實時的效果。我認爲它最令人稱道的特性是，完美解決了 inotify + rsync海量文件同步帶來的文件頻繁發送文件列表的問題 —— 通過時間延遲或累計觸發事件次數實現。另外，它的配置方式很簡單，lua本身就是一種配置語言，可讀性非常強。lsyncd也有多種工作模式可以選擇，本地目錄cp，本地目錄rsync，遠程目錄rsyncssh。

實現簡單高效的本地目錄同步備份（網絡存儲掛載也當作本地目錄），一個命令搞定。

2. 使用 lsyncd 本地目錄實時備份

這一節實現的功能是，本地目錄source實時同步到另一個目錄target，而在source下有大量的文件，並且有部分目錄和臨時文件不需要同步。

2.1 安裝lsyncd

安裝lsyncd極爲簡單，已經收錄在ubuntu的官方鏡像源裏，直接通過apt-get install lsyncd就可以。
在Redhat系（我的環境是CentOS 6.2 x86_64 ），可以手動去下載 lsyncd-2.1.5-6.fc21.x86_64.rpm，但首先你得安裝兩個依賴yum install lua lua-devel。也可以通過在線安裝，需要epel-release擴展包：

# rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm# yum install lsyncd

源碼編譯安裝
從源碼編譯安裝可以使用最新版的lsyncd程序，但必須要相應的依賴庫文件和編譯工具：yum install lua lua-devel asciidoc cmake。

從 googlecode lsyncd 上下載的lsyncd-2.1.5.tar.gz，直接./configure、make && make install就可以了。

從github上下載lsyncd-master.zip 的2.1.5版本使用的是 cmake 編譯工具，無法./configure：

# uzip lsyncd-master.zip# cd lsyncd-master# cmake -DCMAKE_INSTALL_PREFIX=/usr/local/lsyncd-2.1.5# make && make install

我這個版本編譯時有個小bug，如果按照INSTALL在build目錄中make，會提示：

[100%] Generating doc/lsyncd.1Updating the manpage
a2x: failed: source file not found: doc/lsyncd.1.txt
make[2]: *** [doc/lsyncd.1] Error 1make[1]: *** [CMakeFiles/manpage.dir/all] Error 2make: *** [all] Error 2

解決辦法是要麼直接在解壓目錄下cmake，不要mkdir build，要麼在CMakeList.txt中搜索doc字符串，在前面加上${PROJECT_SOURCE_DIR}。

2.2 lsyncd.conf

下面都是在編譯安裝的情況下操作。

2.2.1 lsyncd同步配置

# cd /usr/local/lsyncd-2.1.5# mkdir etc var# vi etc/lsyncd.confsettings {
    logfile      ="/usr/local/lsyncd-2.1.5/var/lsyncd.log",
    statusFile   ="/usr/local/lsyncd-2.1.5/var/lsyncd.status",
    inotifyMode  = "CloseWrite",
    maxProcesses = 7,
    -- nodaemon =true,
    }

sync {    default.rsync,
    source    = "/tmp/src",
    target    = "/tmp/dest",
    -- excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
    rsync     = {
        binary    = "/usr/bin/rsync",
        archive   = true,
        compress  = true,
        verbose   = true
        }
    }

到這啓動 lsycnd 就可以完成實時同步了，默認的許多參數可以滿足絕大部分需求，非常簡單。

2.2.2 lsyncd.conf配置選項說明

settings
裏面是全局設置，--開頭表示註釋，下面是幾個常用選項說明：

logfile 定義日誌文件
stausFile 定義狀態文件
nodaemon=true 表示不啓用守護模式，默認
statusInterval 將lsyncd的狀態寫入上面的statusFile的間隔，默認10秒
inotifyMode 指定inotify監控的事件，默認是CloseWrite，還可以是Modify或CloseWrite or Modify
maxProcesses 同步進程的最大個數。假如同時有20個文件需要同步，而maxProcesses = 8，則最大能看到有8個rysnc進程
maxDelays 累計到多少所監控的事件激活一次同步，即使後面的delay延遲時間還未到

sync
裏面是定義同步參數，可以繼續使用maxDelays來重寫settings的全局變量。一般第一個參數指定lsyncd以什麼模式運行：rsync、rsyncssh、direct三種模式：

default.rsync ：本地目錄間同步，使用rsync，也可以達到使用ssh形式的遠程rsync效果，或daemon方式連接遠程rsyncd進程；
default.direct ：本地目錄間同步，使用cp、rm等命令完成差異文件備份；
default.rsyncssh ：同步到遠程主機目錄，rsync的ssh模式，需要使用key來認證
source 同步的源目錄，使用絕對路徑。
target 定義目的地址.對應不同的模式有幾種寫法：
/tmp/dest ：本地目錄同步，可用於direct和rsync模式
172.29.88.223:/tmp/dest ：同步到遠程服務器目錄，可用於rsync和rsyncssh模式，拼接的命令類似於/usr/bin/rsync -ltsd --delete --include-from=- --exclude=* SOURCE TARGET，剩下的就是rsync的內容了，比如指定username，免密碼同步
172.29.88.223::module ：同步到遠程服務器目錄，用於rsync模式
三種模式的示例會在後面給出。
init 這是一個優化選項，當init = false，只同步進程啓動以後發生改動事件的文件，原有的目錄即使有差異也不會同步。默認是true
delay 累計事件，等待rsync同步延時時間，默認15秒（最大累計到1000個不可合併的事件）。也就是15s內監控目錄下發生的改動，會累積到一次rsync同步，避免過於頻繁的同步。（可合併的意思是，15s內兩次修改了同一文件，最後只同步最新的文件）
excludeFrom 排除選項，後面指定排除的列表文件，如excludeFrom = "/etc/lsyncd.exclude"，如果是簡單的排除，可以使用exclude = LIST。
這裏的排除規則寫法與原生rsync有點不同，更爲簡單：
- 監控路徑裏的任何部分匹配到一個文本，都會被排除，例如/bin/foo/bar可以匹配規則foo
- 如果規則以斜線/開頭，則從頭開始要匹配全部
- 如果規則以/結尾，則要匹配監控路徑的末尾
- ?匹配任何字符，但不包括/
- *匹配0或多個字符，但不包括/
- **匹配0或多個字符，可以是/
delete 爲了保持target與souce完全同步，Lsyncd默認會delete = true來允許同步刪除。它除了false，還有startup、running值，請參考 Lsyncd 2.1.x ‖ Layer 4 Config ‖ Default Behavior。

rsync
（提示一下，delete和exclude本來都是rsync的選項，上面是配置在sync中的，我想這樣做的原因是爲了減少rsync的開銷）

bwlimit 限速，單位kb/s，與rsync相同（這麼重要的選項在文檔裏竟然沒有標出）
compress 壓縮傳輸默認爲true。在帶寬與cpu負載之間權衡，本地目錄同步可以考慮把它設爲false
perms 默認保留文件權限。
其它rsync的選項

其它還有rsyncssh模式獨有的配置項，如host、targetdir、rsync_path、password_file，見後文示例。rsyncOps={"-avz","--delete"}這樣的寫法在2.1.*版本已經不支持。

lsyncd.conf可以有多個sync，各自的source，各自的target，各自的模式，互不影響。

2.3 啓動lsyncd

使用命令加載配置文件，啓動守護進程，自動同步目錄操作。

lsyncd -log Exec /usr/local/lsyncd-2.1.5/etc/lsyncd.conf

2.4 lsyncd.conf其它模式示例

以下配置本人都已經過驗證可行，必須根據實際需要裁剪配置：

settings {
    logfile ="/usr/local/lsyncd-2.1.5/var/lsyncd.log",
    statusFile ="/usr/local/lsyncd-2.1.5/var/lsyncd.status",
    inotifyMode = "CloseWrite",
    maxProcesses = 8,
    }


-- I. 本地目錄同步，direct：cp/rm/mv。 適用：500+萬文件，變動不大
sync {    default.direct,
    source    = "/tmp/src",
    target    = "/tmp/dest",
    delay = 1
    maxProcesses = 1
    }

-- II. 本地目錄同步，rsync模式：rsync
sync {    default.rsync,
    source    = "/tmp/src",
    target    = "/tmp/dest1",
    excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
    rsync     = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        bwlimit   = 2000
        } 
    }

-- III. 遠程目錄同步，rsync模式 + rsyncd daemon
sync {    default.rsync,
    source    = "/tmp/src",
    target    = "[email protected]::module1",    delete="running",
    exclude = { ".*", ".tmp" },
    delay = 30,
    init = false,
    rsync     = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        verbose   = true,
        password_file = "/etc/rsyncd.d/rsync.pwd",
        _extra    = {"--bwlimit=200"}
        }
    }

-- IV. 遠程目錄同步，rsync模式 + ssh shell
sync {    default.rsync,
    source    = "/tmp/src",
    target    = "172.29.88.223:/tmp/dest",
    -- target    = "[email protected]:/remote/dest",
    -- 上面target，注意如果是普通用戶，必須擁有寫權限
    maxDelays = 5,
    delay = 30,
    -- init = true,
    rsync     = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        bwlimit   = 2000
        -- rsh = "/usr/bin/ssh -p 22 -o StrictHostKeyChecking=no"
        -- 如果要指定其它端口，請用上面的rsh
        }
    }

-- V. 遠程目錄同步，rsync模式 + rsyncssh，效果與上面相同
sync {    default.rsyncssh,
    source    = "/tmp/src2",
    host      = "172.29.88.223",
    targetdir = "/remote/dir",
    excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
    -- maxDelays = 5,
    delay = 0,
    -- init = false,
    rsync    = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        verbose   = true,
        _extra = {"--bwlimit=2000"},
        },
    ssh      = {
        port  =  1234
        }
    }

上面的內容幾乎涵蓋了所有同步的模式，其中第III個要求像rsync一樣配置rsyncd服務端，見本文開頭。第IV、V配置ssh方式同步，達到的效果相同，但實際同步時你會發現每次同步都會提示輸入ssh的密碼，可以通過以下方法解決：

在遠端被同步的服務器上開啓ssh無密碼登錄，請注意用戶身份：

user$ ssh-keygen -t rsa
一路回車...
user$ cd ~/.ssh
user$ cat id_rsa.pub >> authorized_keys

把id_rsa私鑰拷貝到執行lsyncd的機器上

user$ chmod 600 ~/.ssh/id_rsa
測試能否無密碼登錄
user$ ssh [email protected]

3. lsyncd的其它功能

lsyncd的功能不僅僅是同步，官方手冊 Lsyncd 2.1.x ‖ Layer 2 Config ‖ Advanced onAction 高級功能提到，還可以監控某個目錄下的文件，根據觸發的事件自己定義要執行的命令，example是監控某個某個目錄，只要是有jpg、gif、png格式的文件參數，就把它們轉成pdf，然後同步到另一個目錄。正好在我運維的一個項目中有這個需求，現在都是在java代碼裏轉換，還容易出現異常，通過lsyncd可以代替這樣的功能。但，門檻在於要會一點點lua語言（根據官方example還是可以寫出來）。

另外偶然想到個問題，同時設置了maxDelays和delay，當監控目錄一直沒有文件變化了，也會發生同步操作，雖然沒有可rsync的文件。

TO-DO：

其它同步工具：csync2，clsync，btsync，drdb 。
lsyncd雙向同步：GlusterFS

參考

原文鏈接地址：http://seanlook.com/2015/05/06/lsyncd-synchronize-realtime/

代碼調試利器lsyncd

lsyncd實時同步搭建指南——取代rsync+inotify

1. 幾大實時同步工具比較

1.1 inotify + rsync

1.2 sersync

1.3 lsyncd

2. 使用 lsyncd 本地目錄實時備份

2.1 安裝lsyncd

2.2 lsyncd.conf

2.2.1 lsyncd同步配置

2.2.2 lsyncd.conf配置選項說明

2.3 啓動lsyncd

2.4 lsyncd.conf其它模式示例

3. lsyncd的其它功能

【SQL進階】CASE語句的使用

npm error Cannot read properties of null (reading 'isDescendantOf')

Js腳本之jQuery學習筆記（4）

Openstack之網絡操作篇

Ceph+Openstack相關入門-Ceph工作原理及流程

Openstack之CEPH簡介

k8s包管理Helm命令大全

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結