beanstalkd介紹

Beanstalkd，一個高性能、輕量級的分佈式內存隊列系統，最初設計的目的是想通過後臺異步執行耗時的任務來降低高容量Web應用系統的頁面訪問延遲，支持過有9.5 million用戶的Facebook Causes應用。

wget https://github.com/downloads/kr/beanstalkd/beanstalkd-1.6.tar.gz

tar -xzvf beanstalkd-1.6.tar.gz

make && make install

安裝php擴展

git clone https://github.com/nil-zhang/php-beanstalk.git

git clone https://github.com/bergundy/libbeanstalkclient.git

先安裝libbeanstalkclient,然後繼續php擴展安裝

cd php-beanstalk

phpize

./configure

make && make install

 

python客戶端安裝

git clone https://github.com/earl/beanstalkc.git

cd beanstalk

python setup.py install

在運行時如果報：Failed to load PyYAML, will not parse YAML

則需要安裝python的依賴組件：pip install pyyaml 進行安裝

核心概念：

Beanstalkd設計裏面的核心概念：

◆ job

一個需要異步處理的任務，是Beanstalkd中的基本單元，需要放在一個tube中。

◆ tube

一個有名的任務隊列，用來存儲統一類型的job，是producer和consumer操作的對象。

◆ producer

Job的生產者，通過put命令來將一個job放到一個tube中。

◆ consumer

Job的消費者，通過reserve/release/bury/delete命令來獲取job或改變job的狀態。

Beanstalkd中一個job的生命週期如圖2所示。一個job有READY, RESERVED, DELAYED, BURIED四種狀態。當producer直接put一個job時，job就處於READY狀態，等待consumer來處理，如果選擇延遲put，job就先到DELAYED狀態，等待時間過後才遷移到READY狀態。consumer獲取了當前READY的job後，該job的狀態就遷移到RESERVED，這樣其他的consumer就不能再操作該job。當consumer完成該job後，可以選擇delete, release或者bury操作;delete之後，job從系統消亡，之後不能再獲取;release操作可以重新把該job狀態遷移回READY(也可以延遲該狀態遷移操作)，使其他的consumer可以繼續獲取和執行該job;有意思的是bury操作，可以把該job休眠，等到需要的時候，再將休眠的job kick回READY狀態，也可以delete BURIED狀態的job。正是有這些有趣的操作和狀態，纔可以基於此做出很多意思的應用，比如要實現一個循環隊列，就可以將RESERVED狀態的job休眠掉，等沒有READY狀態的job時再將BURIED狀態的job一次性kick回READY狀態。

特性：

Beanstalkd基於的源碼安裝和使用很簡單，在此略過。這裏重點介紹一下其幾個很nice的特性。

◆ 優先級

支持0到2**32的優先級，值越小，優先級越高，默認優先級爲1024。

◆ 持久化

可以通過binlog將job及其狀態記錄到文件裏面，在Beanstalkd下次啓動時可以通過讀取binlog來恢復之前的job及狀態。

◆ 分佈式容錯

分佈式設計和Memcached類似，beanstalkd各個server之間並不知道彼此的存在，都是通過client來實現分佈式以及根據tube名稱去特定server獲取job。

◆ 超時控制

爲了防止某個consumer長時間佔用任務但不能處理的情況，Beanstalkd爲reserve操作設置了timeout時間，如果該consumer不能在指定時間內完成job，job將被遷移回READY狀態，供其他consumer執行。

後臺啓動：

beanstalkd -l 地址 -p 端口號 -z 最大的任務大小(byte) -c &

如果是外部客戶端連接，ip地址要寫外網地址，這樣才能連接上

啓動選項

 -b DIR   wal directory

 -f MS    fsync at most once every MS milliseconds (use -f0 for "always fsync")
 -F       never fsync (default)
 -l ADDR  listen on address (default is 0.0.0.0)
 -p PORT  listen on port (default is 11300)
 -u USER  become user and group
 -z BYTES set the maximum job size in bytes (default is 65535)
 -s BYTES set the size of each wal file (default is 10485760)
            (will be rounded up to a multiple of 512 bytes)
 -c       compact the binlog (default)
 -n       do not compact the binlog
 -v       show version information
 -V       increase verbosity
 -h       show this help