Memcache的使用和協議分析詳解

Memcache的使用和協議分析詳解

作者：heiyeluren
博客：http://blog.csdn.net/heiyeshuwu
時間：2006-11-12
關鍵字：PHP Memcache Linux 緩存

Memcache是danga.com的一個項目，最早是爲 LiveJournal 服務的，目前全世界不少人使用這個緩存項目來構建自己大負載的網站，來分擔數據庫的壓力。（關於Memcache的更多信息請Google）
Memcache官方網站：http://www.danga.com/memcached

【安裝Memcache服務器端】

我目前的平臺，服務器是Fedora Core 1（內核：2.4.22），客戶端是Windows XP SP2，需要安裝的就是服務器的Memcached的守護進程和客戶端的PHP擴展php_memcache兩個東西。現在我分別來講。

服務器端主要是安裝memcache服務器端，目前的最新版本是 memcached-1.2.0 。
下載：http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz
另外，Memcache用到了libevent這個庫用於Socket的處理，所以還需要安裝libevent，libevent的最新版本是libevent-1.2。（如果你的系統已經安裝了libevent，可以不用安裝）
官網：http://www.monkey.org/~provos/libevent/
下載：http://www.monkey.org/~provos/libevent-1.2.tar.gz

我分別把兩個東東下載回來，放到 /tmp 目錄下：
# cd /tmp
# wget http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz
# wget http://www.monkey.org/~provos/libevent-1.2.tar.gz

先安裝libevent：
# tar zxvf libevent-1.2.tar.gz
# cd libevent-1.2
# ./configure --prefix=/usr
# make
# make install

然後看看我們的libevent是否安裝成功：
# ls -al /usr/lib | grep libevent
lrwxrwxrwx    1 root     root          21 11?? 12 17:38 libevent-1.2.so.1 -> libevent-1.2.so.1.0.3
-rwxr-xr-x       1 root     root          263546 11?? 12 17:38 libevent-1.2.so.1.0.3
-rw-r--r--        1 root     root          454156 11?? 12 17:38 libevent.a
-rwxr-xr-x      1 root     root          811 11?? 12 17:38 libevent.la
lrwxrwxrwx    1 root     root          21 11?? 12 17:38 libevent.so -> libevent-1.2.so.1.0.3

還不錯，都安裝上了，再來安裝memcache，同時需要安裝中指定libevent的安裝位置：

# cd /tmp
# tar zxvf memcached-1.2.0.tar.gz
# cd memcached-1.2.0
# ./configure --with-libevent=/usr
# make
# make install

如果中間出現報錯，請仔細檢查錯誤信息，按照錯誤信息來配置或者增加相應的庫或者路徑。
安裝完成後會把memcached放到 /usr/local/bin/memcached ，我們看以下是否安裝了：

# ls -al /usr/local/bin/mem*
-rwxr-xr-x 1 root root 137986 11?? 12 17:39 /usr/local/bin/memcached
-rwxr-xr-x 1 root root 140179 11?? 12 17:39 /usr/local/bin/memcached-debug

恩，安裝完成了，現在我們看以下memcache的幫助：

# /usr/local/bin/memecached -h
memcached 1.2.0
-p <num> port number to listen on
-s <file> unix socket path to listen on (disables network support)
-l <ip_addr> interface to listen on, default is INDRR_ANY
-d run as a daemon
-r maximize core file limit
-u <username> assume identity of <username> (only when run as root)
-m <num> max memory to use for items in megabytes, default is 64 MB
-M return error on memory exhausted (rather than removing items)
-c <num> max simultaneous connections, default is 1024
-k lock down all paged memory
-v verbose (print errors/warnings while in event loop)
-vv very verbose (also print client commands/reponses)
-h print this help and exit
-i print memcached and libevent license
-b run a managed instanced (mnemonic: buckets)
-P <file> save PID in <file>, only used with -d option
-f <factor> chunk size growth factor, default 1.25
-n <bytes> minimum space allocated for key+value+flags, default 48

參數不算多，我們來啓動一個Memcache的服務器端：
# /usr/local/bin/memcached -d -m 10 -u root -l 192.168.0.200 -p 12000 -c 256 -P /tmp/memcached.pid

-d選項是啓動一個守護進程，-m是分配給Memcache使用的內存數量，單位是MB，我這裏是10MB，-u是運行Memcache的用戶，我這裏是root，-l是監聽的服務器IP地址，如果有多個地址的話，我這裏指定了服務器的IP地址192.168.0.200，-p是設置 Memcache監聽的端口，我這裏設置了12000，最好是1024以上的端口，-c選項是最大運行的併發連接數，默認是1024，我這裏設置了 256，按照你服務器的負載量來設定，-P是設置保存Memcache的pid文件，我這裏是保存在 /tmp/memcached.pid，如果要結束Memcache進程，執行：
# kill `cat /tmp/memcached.pid`

也可以啓動多個守護進程，不過端口不能重複。

【安裝Memcache的PHP擴展】

Memcache就是在服務器監聽端口，通過一定的協議交互來寫入數據到服務器內存中，或者獲取一些值。如果你瞭解Memcache的交互協議，完全可以自己構建Memcache的客戶端，目前網上也有很多構建好的Memcache客戶端的PHP Class，可以直接用，不過我這裏爲了效率，還是決定使用PECL中Memcache的專用擴展，因爲畢竟是用C寫的，效率比較高，而且安裝部署比較方便。

下載PECL中的Memcache，因爲我的客戶端是Windows XP，所以需要下載dll版，我的PHP版本是PHP 5.1.4，必須下載PHP 5.1專用的擴展。
PECL官網：http://pecl.php.net （For Linux）
http://pecl4win.php.net（For Windows）
擴展下載： http://pecl4win.php.net/download.php/ext/5_1/5.1.2/php_memcache.dll

如果你的PHP是其他版本，請到 http://pecl4win.php.net/ext.php/php_memcache.dll 選擇你相應的版本，如果是Linux下的PHP，請到 http://pecl.php.net/package/memcache 選擇相應想要下載的版本。

下載完了以後，我把php_memcache.dll 拷貝到 c:/php5/ext 目錄下，如果你的擴展目錄是在是缺省路徑，（就是沒有修改過php.ini中的擴展路徑）請拷貝到 c:/windows/ 目錄下，如果是Linux平臺，請自己編譯安裝，可以在程序中使用dl()函數加載，或者在編譯php的時候加載進去。最後重啓Web服務器，IIS/Apache。

我的網站目錄是在：d:/mysite 目錄下，現在建立一個 phpinfo.php 文件在網站根目錄下，代碼是：
<?phpinfo()?>
看有沒有成功加載 php_memcache.dll 擴展。如果顯示了 Memcache 選項和相應的版本信息，則說明成功加載了，否則請仔細檢查上面的步驟。

如果一切正確無誤，那麼說明安裝成功。

【Memcache初試】

[ 接口介紹 ]
服務器端和客戶端都安裝配置好了，現在我們就來測試以下我們的成果。Memcache客戶端包含兩組接口，一組是面向過程的接口，一組是面向對象的接口，具體可以參考PHP手冊 “LXXV. Memcache Functions” 這章。我們爲了簡單方便，就使用面向對象的方式，也便於維護和編寫代碼。Memcache面向對象的常用接口包括：

Memcache::connect -- 打開一個到Memcache的連接
Memcache::pconnect -- 打開一個到Memcache的長連接
Memcache::close -- 關閉一個Memcache的連接
Memcache::set -- 保存數據到Memcache服務器上
Memcache::get -- 提取一個保存在Memcache服務器上的數據
Memcache::replace -- 替換一個已經存在Memcache服務器上的項目（功能類似Memcache::set）
Memcache::delete -- 從Memcache服務器上刪除一個保存的項目
Memcache::flush -- 刷新所有Memcache服務器上保存的項目（類似於刪除所有的保存的項目）
Memcache::getStats -- 獲取當前Memcache服務器運行的狀態

[ 測試代碼 ]
現在我們開始一段測試代碼：

<?php
//連接
$mem = new Memcache;
$mem->connect("192.168.0.200", 12000);

//保存數據
$mem->set('key1', 'This is first value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val ." ";

//替換數據
$mem->replace('key1', 'This is replace value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val . " ";

//保存數組
$arr = array('aaa', 'bbb', 'ccc', 'ddd');
$mem->set('key2', $arr, 0, 60);
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo " ";

//刪除數據
$mem->delete('key1');
$val = $mem->get('key1');
echo "Get key1 value: " . $val . " ";

//清除所有數據
$mem->flush();
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo " ";

//關閉連接
$mem->close();
?>

如果正常的話，瀏覽器將輸出：
Get key1 value: This is first value
Get key1 value: This is replace value
Get key2 value: Array ( [0] => aaa [1] => bbb [2] => ccc [3] => ddd )
Get key1 value:
Get key2 value:

基本說明我們的Memcache安裝成功，我們再來分析以下上面的這段程序。

[ 程序分析 ]

初始化一個Memcache的對象：
$mem = new Memcache;

連接到我們的Memcache服務器端，第一個參數是服務器的IP地址，也可以是主機名，第二個參數是Memcache的開放的端口：
$mem->connect("192.168.0.200", 12000);

保存一個數據到Memcache服務器上，第一個參數是數據的key，用來定位一個數據，第二個參數是需要保存的數據內容，這裏是一個字符串，第三個參數是一個標記，一般設置爲0或者MEMCACHE_COMPRESSED就行了，第四個參數是數據的有效期，就是說數據在這個時間內是有效的，如果過去這個時間，那麼會被Memcache服務器端清除掉這個數據，單位是秒，如果設置爲0，則是永遠有效，我們這裏設置了60，就是一分鐘有效時間：
$mem->set('key1', 'This is first value', 0, 60);

從Memcache服務器端獲取一條數據，它只有一個參數，就是需要獲取數據的key，我們這裏是上一步設置的key1，現在獲取這個數據後輸出輸出：
$val = $mem->get('key1');
echo "Get key1 value: " . $val;

現在是使用replace方法來替換掉上面key1的值，replace方法的參數跟set是一樣的，不過第一個參數key1是必須是要替換數據內容的key，最後輸出了：
$mem->replace('key1', 'This is replace value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val;

同樣的，Memcache也是可以保存數組的，下面是在Memcache上面保存了一個數組，然後獲取回來並輸出
$arr = array('aaa', 'bbb', 'ccc', 'ddd');
$mem->set('key2', $arr, 0, 60);
$val2 = $mem->get('key2');
print_r($val2);

現在刪除一個數據，使用delte接口，參數就是一個key，然後就能夠把Memcache服務器這個key的數據刪除，最後輸出的時候沒有結果
$mem->delete('key1');
$val = $mem->get('key1');
echo "Get key1 value: " . $val . " ";

最後我們把所有的保存在Memcache服務器上的數據都清除，會發現數據都沒有了，最後輸出key2的數據爲空，最後關閉連接
$mem->flush();
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo " ";

【Memcache協議分析】

如果你不喜歡 php_memcache.dll 擴展或者服務器器目前不支持這個擴展，那麼就可以考慮自己構建，需要構建Memcahe的客戶端，要先了解Memcache協議的交互，這樣才能開發自己的客戶端，我這裏就簡單的分析以下Memcache的協議。
（更詳細的協議內容請在Memcache服務器端的源碼的 doc/protocol.txt 文件中，本文基本來源於此）

Memcache既支持TCP協議，也支持UDP協議，不過我們這裏是以TCP協議的協議作爲主要考慮對象，想了解UDP協議的過程，請參考 doc/protocol.txt 文件。

[ 錯誤指令]
Memcache的協議的錯誤部分主要是三個錯誤提示之提示指令：
普通錯誤信息，比如指令錯誤之類的
ERROR/r/n

客戶端錯誤
CLIENT_ERROR <錯誤信息>/r/n

服務器端錯誤
SERVER_ERROR <錯誤信息>/r/n

[ 數據保存指令]
數據保存是基本的功能，就是客戶端通過命令把數據返回過來，服務器端接收後進行處理。
指令格式：
<命令> <鍵> <標記> <有效期> <數據長度>/r/n

<命令> - command name
主要是三個儲存數據的三個命令， set, add, replace
set 命令是保存一個叫做key的數據到服務器上
add 命令是添加一個數據到服務器，但是服務器必須這個key是不存在的，能夠保證數據不會被覆蓋
replace 命令是替換一個已經存在的數據，如果數據不存在，就是類似set功能

<鍵> - key
就是保存在服務器上唯一的一個表示符，必須是跟其他的key不衝突，否則會覆蓋掉原來的數據，這個key是爲了能夠準確的存取一個數據項目

<標記> - flag
標記是一個16位的無符號整形數據，用來設置服務器端跟客戶端一些交互的操作

<有效期> - expiration time
是數據在服務器上的有效期限，如果是0，則數據永遠有效，單位是秒，Memcache服務器端會把一個數據的有效期設置爲當前Unix時間+設置的有效時間

<數據長度> - bytes
數據的長度，block data 塊數據的長度，一般在這個個長度結束以後下一行跟着block data數據內容，發送完數據以後，客戶端一般等待服務器端的返回，服務器端的返回：

數據保存成功
STORED/r/n

數據保存失敗，一般是因爲服務器端這個數據key已經存在了
NOT_STORED/r/n

[ 數據提取命令]
從服務器端提取數據主要是使用get指令，格式是：
get <鍵>*/r/n

<鍵>* - key
key是是一個不爲空的字符串組合，發送這個指令以後，等待服務器的返回。如果服務器端沒有任何數據，則是返回：
END/r/n

證明沒有不存在這個key，沒有任何數據，如果存在數據，則返回指定格式：
VALUE <鍵> <標記> <數據長度>/r/n
<數據塊>/r/n

返回的數據是以VALUE開始的，後面跟着key和flags，以及數據長度，第二行跟着數據塊。

<鍵> -key
是發送過來指令的key內容

<標記> - flags
是調用set指令保存數據時候的flags標記

<數據長度> - bytes
是保存數據時候定位的長度

<數據塊> - data block
數據長度下一行就是提取的數據塊內容

[ 數據刪除指令]
數據刪除指令也是比較簡單的，使用get指令，格式是：
delete <鍵> <超時時間>/r/n

<鍵> - key
key是你希望在服務器上刪除數據的key鍵

<超時時間> - timeout
按照秒爲單位，這個是個可選項，如果你沒有指定這個值，那麼服務器上key數據將馬上被刪除，如果設置了這個值，那麼數據將在超時時間後把數據清除，該項缺省值是0，就是馬上被刪除

刪除數據後，服務器端會返回：
DELETED/r/n
刪除數據成功
NOT_FOUND/r/n
這個key沒有在服務器上找到

如果要刪除所有服務器上的數據，可以使用flash_all指令，格式：
flush_all/r/n

這個指令執行後，服務器上所有緩存的數據都被刪除，並且返回：
OK/r/n

這個指令一般不要輕易使，除非你卻是想把所有數據都幹掉，刪除完以後可以無法恢復的。

[其他指令]
如果想了解當前Memcache服務器的狀態和版本等信息，可以使用狀態查詢指令和版本查詢指令。

如果想了解當前所有Memcache服務器運行的狀態信息，可以使用stats指令，格式
stats/r/n
服務器將返回每行按照 STAT 開始的狀態信息，包括20行，20項左右的信息，包括守護進程的pid、版本、保存的項目數量、內存佔用、最大內存限制等等信息。

如果只是想獲取部分項目的信息，可以指定參數，格式：
stats <參數>/r/n
這個指令將只返回指定參數的項目狀態信息。

如果只是想單獨瞭解當前版本信息，可以使用version指令，格式：
version/r/n
將返回以 VERSION 開頭的版本信息

如果想結束當前連接，使用quit指令，格式：
quit/r/n

將斷開當前連接

另外還有其他指令，包括incr, decr 等，我也不太瞭解作用，就不做介紹了，如果感興趣，可以自己去研究。

【Memcache在中型網站的使用】

使用Memcache的網站一般流量都是比較大的，爲了緩解數據庫的壓力，讓Memcache作爲一個緩存區域，把部分信息保存在內存中，在前端能夠迅速的進行存取。那麼一般的焦點就是集中在如何分擔數據庫壓力和進行分佈式，畢竟單臺Memcache的內存容量的有限的。我這裏簡單提出我的個人看法，未經實踐，權當參考。

[ 分佈式應用]
Memcache本來支持分佈式，我們客戶端稍加改造，更好的支持。我們的key可以適當進行有規律的封裝，比如以user爲主的網站來說，每個用戶都有User ID，那麼可以按照固定的ID來進行提取和存取，比如1開頭的用戶保存在第一臺Memcache服務器上，以2開頭的用戶的數據保存在第二胎 Mecache服務器上，存取數據都先按照User ID來進行相應的轉換和存取。

但是這個有缺點，就是需要對User ID進行判斷，如果業務不一致，或者其他類型的應用，可能不是那麼合適，那麼可以根據自己的實際業務來進行考慮，或者去想更合適的方法。

[ 減少數據庫壓力]
這個算是比較重要的，所有的數據基本上都是保存在數據庫當中的，每次頻繁的存取數據庫，導致數據庫性能極具下降，無法同時服務更多的用戶，比如MySQL，特別頻繁的鎖表，那麼讓 Memcache來分擔數據庫的壓力吧。我們需要一種改動比較小，並且能夠不會大規模改變前端的方式來進行改變目前的架構。

我考慮的一種簡單方法：
後端的數據庫操作模塊，把所有的Select操作提取出來（update/delete/insert不管），然後把對應的SQL進行相應的hash算法計算得出一個hash數據key（比如MD5或者SHA），然後把這個key去Memcache中查找數據，如果這個數據不存在，說明還沒寫入到緩存中，那麼從數據庫把數據提取出來，一個是數組類格式，然後把數據在set到Memcache中，key就是這個SQL的 hash值，然後相應的設置一個失效時間，比如一個小時，那麼一個小時中的數據都是從緩存中提取的，有效減少數據庫的壓力。

缺點是數據不實時，當數據做了修改以後，無法實時到前端顯示，並且還有可能對內存佔用比較大，畢竟每次select出來的數據數量可能比較巨大，這個是需要考慮的因素。

上面只是我兩點沒有經過深思熟慮的簡單想法，也許有用，那就最好了。

【Memcache的安全】

我們上面的Memcache服務器端都是直接通過客戶端連接後直接操作，沒有任何的驗證過程，這樣如果服務器是直接暴露在互聯網上的話是比較危險，輕則數據泄露被其他無關人員查看，重則服務器被入侵，因爲Mecache是以root權限運行的，況且裏面可能存在一些我們未知的bug或者是緩衝區溢出的情況，這些都是我們未知的，所以危險性是可以預見的。

爲了安全起見，我做兩點建議，能夠稍微的防止黑客的入侵或者數據的泄露。

[ 內網訪問]
最好把兩臺服務器之間的訪問是內網形態的，一般是Web服務器跟Memcache服務器之間。普遍的服務器都是有兩塊網卡，一塊指向互聯網，一塊指向內網，那麼就讓Web服務器通過內網的網卡來訪問Memcache服務器，我們Memcache的服務器上啓動的時候就監聽內網的IP地址和端口，內網間的訪問能夠有效阻止其他非法的訪問。

# memcached -d -m 1024 -u root -l 192.168.0.200 -p 11211 -c 1024 -P /tmp/memcached.pid

Memcache服務器端設置監聽通過內網的192.168.0.200的ip的11211端口，佔用1024MB內存，並且允許最大1024個併發連接

[ 設置防火牆]
防火牆是簡單有效的方式，如果卻是兩臺服務器都是掛在網的，並且需要通過外網IP來訪問Memcache的話，那麼可以考慮使用防火牆或者代理程序來過濾非法訪問。
一般我們在Linux下可以使用iptables或者FreeBSD下的ipfw來指定一些規則防止一些非法的訪問，比如我們可以設置只允許我們的Web服務器來訪問我們Memcache服務器，同時阻止其他的訪問。

# iptables -F
# iptables -P INPUT DROP
# iptables -A INPUT -p tcp -s 192.168.0.2 --dport 11211 -j ACCEPT
# iptables -A INPUT -p udp -s 192.168.0.2 --dport 11211 -j ACCEPT

上面的iptables規則就是隻允許192.168.0.2這臺Web服務器對Memcache服務器的訪問，能夠有效的阻止一些非法訪問，相應的也可以增加一些其他的規則來加強安全性，這個可以根據自己的需要來做。

【Memcache的擴展性】

Memcache算是比較簡潔高效的程序，Memcache 1.2.0 的源代碼大小才139K，在Windows平臺上是不可想象的，但是在開源世界來說，這是比較正常合理的。
Memcache目前都只是比較簡單的功能，簡單的數據存取功能，我個人希望如果有識之士，能夠在下面兩方面進行擴展。

1. 日誌功能
目前Memcache沒有日誌功能，只有一些命令在服務器端進行回顯，這樣是很不利於對一個服務器的穩定性和負載等等進行監控的，最好能夠相應的加上日誌的等功能，便於監控。

2. 存儲結構
目前的數據形式就是: key => data 的形式，特別單一，只能夠存儲單一的一維數據，如果能夠擴展的話，變成類似數據庫的格式，能夠存儲二維數據，那樣會讓可以用性更強，使用面更廣，當然相應的可能代碼效率和存取效率更差一些。

3. 同步功能
數據同步是個比較重要的技術，因爲誰都不能保證一臺服務器是持久正常的運行的，如果能夠具有類似MySQL的 Master/Slave 的功能，那麼將使得Memcache的數據更加穩定，那麼相應的就可以考慮存儲持久一點的數據，並且不用害怕Memcache的down掉，因爲有同步的備份服務器，這個問題就不是問題了。

以上三點只是個人拙見，有識之士和技術高手可以考慮。

【結束語】

我上面的內容都只是自己安裝和使用的一些想法，不能保證絕對正確，只是給需要的人一個參考，一個推廣Memcache的文章，希望更多的人能夠認識和了解這個技術，並且爲自己所用。

我花費了整整一個晚上的時間洋洋灑灑的寫了這麼長，無非是對於這項開源技術的熱愛，我想開源世界能夠繁榮起來，就是源於大家的熱愛並且願意做出貢獻，開源世界才這麼精彩。

希望本文能夠給需要的人一些幫助，希望不會誤導他們，呵呵。

附加：（我操作Memcache相應對應上面文章內容的圖片）

[ 啓動Memcache]