httpsqs

HTTPSQS 2

 3、HTTPSQS 編譯安裝:

ulimit -SHn 65535

wget http://httpsqs.googlecode.com/files/libevent-2.0.10-stable.tar.gz
tar zxvf libevent-2.0.10-stable.tar.gz
cd libevent-2.0.10-stable/
./configure --prefix=/usr/local/libevent-2.0.10-stable/
make
make install
cd ../

wget http://httpsqs.googlecode.com/files/tokyocabinet-1.4.47.tar.gz
tar zxvf tokyocabinet-1.4.47.tar.gz
cd tokyocabinet-1.4.47/
./configure --prefix=/usr/local/tokyocabinet-1.4.47/
#注:在32位Linux操作系統上編譯Tokyo cabinet,請使用./configure --enable-off64代替./configure,可以使數據庫文件突破2GB的限制。
#./configure --enable-off64 --prefix=/usr/local/tokyocabinet-1.4.47/
make
make install
cd ../

wget http://httpsqs.googlecode.com/files/httpsqs-1.6.tar.gz
tar zxvf httpsqs-1.6.tar.gz
cd httpsqs-1.6/
make
make install
cd ../


  4、HTTPSQS 服務器使用文檔:

  

  [root@xoyo ~]# httpsqs -h
-l <ip_addr> 監聽的IP地址,默認值爲 0.0.0.0
-p <num> 監聽的TCP端口(默認值:1218)
-x <path> 數據庫目錄,目錄不存在會自動創建(例如:/opt/httpsqs/data)
-t <second> HTTP請求的超時時間(默認值:3)
-s <second> 同步內存緩衝區內容到磁盤的間隔秒數(默認值:5)
-c <num> 內存中緩存的最大非葉子節點數(默認值:1024)
-m <size> 數據庫內存緩存大小,單位:MB(默認值:100)
-i <file> 保存進程PID到文件中(默認值:/tmp/httpsqs.pid)
-i <auth> 訪問HTTPSQS的驗證密碼(例如:mypass123)
-d 以守護進程運行
-h 顯示這個幫助


  示例:
ulimit -SHn 65535
httpsqs -d -p 1218 -x /data0/queue

  請使用命令“killall httpsqs”、“pkill httpsqs”和“kill `cat /tmp/httpsqs.pid`”來停止httpsqs。

  注意:請不要使用命令“pkill -9 httpsqs”和“kill -9  httpsqs的進程ID”來結束httpsqs,否則,內存中尚未保存到磁盤的數據將會丟失。


  5、HTTPSQS 客戶端使用文檔:

  (1)、入隊列(將文本消息放入隊列):


  HTTP GET 協議(以curl命令爲例):
curl "http://host:port/?name=your_queue_name&opt=put&data=經過URL編碼的文本消息&auth=mypass123"

  HTTP POST 協議(以curl命令爲例):
curl -d "經過URL編碼的文本消息" "http://host:port/?name=your_queue_name&opt=put&auth=mypass123"

  以瀏覽器爲例:
  

  如果入隊列成功,返回:
HTTPSQS_PUT_OK

  如果入隊列失敗,返回:
HTTPSQS_PUT_ERROR

  如果隊列已滿,返回:
HTTPSQS_PUT_END

  從HTTPSQS 1.2版本開始,在返回給客戶端的HTTP Header頭中增加了一行“Pos: xxx”,輸出當前隊列的讀取位置點,例如:
HTTP/1.1 200 OK
Content-Type: text/plain
Keep-Alive: 120
Pos: 19
Date: Thu, 18 Mar 2010 04:57:08 GMT
Content-Length: 14

HTTPSQS_PUT_OK


  (2)、出隊列(從隊列中取出文本消息):

  HTTP GET 協議(以curl命令爲例):
curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=get&auth=mypass123"

curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=get&auth=mypass123"

  以瀏覽器爲例:
  

  返回消息隊列的內容給客戶端。

  如果沒有未取出的消息隊列,則返回:
HTTPSQS_GET_END

  從HTTPSQS 1.2版本開始,在返回給客戶端的HTTP Header頭中增加了一行“Pos: xxx”,輸出當前隊列的讀取位置點,例如:
HTTP/1.1 200 OK
Content-Type: text/plain; charset=utf-8
Keep-Alive: 120
Pos: 7
Date: Thu, 18 Mar 2010 04:56:01 GMT
Content-Length: 18

消息隊列內容

  參數charset說明(例如:/?charset=utf-8):
  指定HTTP輸出Header頭的字符編碼,即:
  Content-Type: text/plain; charset=utf-8

  任何在IANA註冊的字符編碼均可使用,但是,並不是所有的瀏覽器都能解析全部的字符編碼。對於中文,常用的字符編碼有:utf-8、gb2312、gbk、gb18030、big5等。


  (3)、查看隊列狀態(普通方式,便於瀏覽器查看):

  HTTP GET 協議(以curl命令爲例):

curl "http://host:port/?name=your_queue_name&opt=status&auth=mypass123"

  返回(示例):

HTTP Simple Queue Service v1.6
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (1st lap): 45
Get position of queue (1st lap): 6
Number of unread queue: 39

  如果“隊列寫入點值”大於“最大隊列數量值”,將重置“隊列寫入點”爲1,即又從1開始存儲新的隊列內容,覆蓋原來隊列位置點的內容:

HTTP Simple Queue Service v1.6
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (2st lap): 4562
Get position of queue (1st lap): 900045
Number of unread queue: 104517

  以瀏覽器爲例:
  


  (4)、查看隊列狀態(JSON方式,便於程序處理返回內容):

  從HTTPSQS 1.3版本開始支持此功能。

  HTTP GET 協議(以curl命令爲例):

curl "http://host:port/?name=your_queue_name&opt=status_json&auth=mypass123"

  返回(示例):

{"name":"xoyo","maxqueue":1000000,"putpos":45,"putlap":1,"getpos":6,"getlap":1,"unread":39}

  如果“隊列寫入點值”大於“最大隊列數量值”,將重置“隊列寫入點”爲1,即又從1開始存儲新的隊列內容,覆蓋原來隊列位置點的內容:

{"name":"xoyo","maxqueue":1000000,"putpos":4562,"putlap":2,"getpos":900045,"getlap":1,"unread":104517}


  (5)、查看指定隊列位置點的內容:

  跟一般的隊列系統不同的是,HTTPSQS 可以查看指定隊列ID(隊列點)的內容,包括未出、已出的隊列內容。可以方便地觀測進入隊列的內容是否正確。

  另外,假設有一個發送手機短信的隊列,由客戶端守護進程從隊列中取出信息,並調用“短信網關接口”發送短信。但是,如果某段時間“短信網關接口”有故障,而這段時間隊列位置點300~900的信息已經出隊列,但是發送短信失敗,我們還可以在位置點300~900被覆蓋前,查看到這些位置點的內容,作相應的處理。

  HTTP GET 協議(以curl命令爲例):

curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=view&pos=5&auth=mypass123"

curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=view&pos=19&auth=mypass123"

  pos >=1 並且 <= 1000000000

  返回指定隊列位置點的內容。


  (6)、重置指定隊列:

  HTTP GET 協議(以curl命令爲例):

curl "http://host:port/?name=your_queue_name&opt=reset&auth=mypass123"

  如果重置成功,返回:

HTTPSQS_RESET_OK

  如果重置失敗,返回:

HTTPSQS_RESET_ERROR


  (7)、更改指定隊列的最大隊列數量:

  默認的最大隊列長度(100萬條):1000000

  HTTP GET 協議(以curl命令爲例):

curl "http://host:port/?name=your_queue_name&opt=maxqueue&num=1000000000&auth=mypass123"

  num >=10 並且 <= 1000000000

  如果更改最大隊列數量成功,則返回:

HTTPSQS_MAXQUEUE_OK

  更改的最大隊列數量必須大於當前的“隊列寫入點”。另外,當“隊列寫入點”小於“隊列讀取點”時(即PUT位於圓環的第二圈,而GET位於圓環的第一圈時),本操作將被取消,然後返回給客戶端以下信息:

HTTPSQS_MAXQUEUE_CANCEL


  (8)、不停止服務的情況下,修改定時刷新內存緩衝區內容到磁盤的間隔時間:

  從HTTPSQS 1.3版本開始支持此功能。

  默認間隔時間:5秒 或 httpsqs -s <second> 參數設置的值。

  HTTP GET 協議(以curl命令爲例):

curl "http://host:port/?name=your_queue_name&opt=synctime&num=10&auth=mypass123"

  num >=1 and <= 1000000000

  如果修改間隔時間成功,則返回:

HTTPSQS_SYNCTIME_OK

  如果 num 不在 1 ~ 1000000000 之間,本操作將被取消,然後返回給客戶端以下信息:

HTTPSQS_SYNCTIME_CANCEL


  (9)、密碼校驗失敗:

  從HTTPSQS 1.5版本開始支持此功能。

  如果密碼校驗失敗(/?auth=xxx),將返回以下信息:
HTTPSQS_AUTH_FAILED


  (10)、全局錯誤:

  如果發生全局錯誤(即指令、參數錯誤等),將返回以下信息:
HTTPSQS_ERROR


  6、HTTPSQS 客戶端

  (1)、PHP 客戶端說明文檔:


  A、PHP 客戶端擴展(第三方提供,詳情請訪問:http://code.google.com/p/php-httpsqs-client/

  B、普通 PHP 客戶端文件:

  查看 PHP Class 源代碼:httpsqs_client.php

  用法:

view plaincopy to clipboardprint?<?php   ......   include_once("httpsqs_client.php");   $httpsqs = new httpsqs;   /* -----不使用Keep-Alive的短連接方式----- *//*1. 將文本信息放入一個隊列如果入隊列成功,返回布爾值:true如果入隊列失敗,返回布爾值:false*/$result = $httpsqs->put($host, $port, $charset, $name, $data);   /*2. 從一個隊列中取出文本信息返回該隊列的內容如果沒有未被取出的隊列,則返回文本信息:HTTPSQS_GET_END如果發生錯誤,返回布爾值:false*/$result = $httpsqs->get($host, $port, $charset, $name);   /*3. 從一個隊列中取出文本信息和當前隊列讀取點Pos返回數組示例:array("pos" => 7, "data" => "text message")如果沒有未被取出的隊列,則返回數組:array("pos" => 0, "data" => "HTTPSQS_GET_END")如果發生錯誤,返回布爾值:false*/$result = $httpsqs->gets($host, $port, $charset, $name);  /*4. 查看隊列狀態(普通方式)*/$result = $httpsqs->status($host, $port, $charset, $name);  /*5. 查看隊列狀態(JSON方式)返回示例:{"name":"queue_name","maxqueue":5000000,"putpos":130,"putlap":1,"getpos":120,"getlap":1,"unread":10}*/$result = $httpsqs->status_json($host, $port, $charset, $name);   /*6. 查看指定隊列位置點的內容返回指定隊列位置點的內容。*/$result = $httpsqs->view($host, $port, $charset, $name, $pos);   /*7. 重置指定隊列如果重置隊列成功,返回布爾值:true如果重置隊列失敗,返回布爾值:false*/$result = $httpsqs->reset($host, $port, $charset, $name);   /*8. 更改指定隊列的最大隊列數量如果更改成功,返回布爾值:true如果更改操作被取消,返回布爾值:false*/$result = $httpsqs->maxqueue($host, $port, $charset, $name, $num);  /*9. 修改定時刷新內存緩衝區內容到磁盤的間隔時間如果更改成功,返回布爾值:true如果更改操作被取消,返回布爾值:false*/$result = $httpsqs->synctime($host, $port, $charset, $name, $num);  /* -----使用Keep-Alive的長連接方式 (在命令行模式下速度非常快)----- */$result = $httpsqs->pput($host, $port, $charset, $name, $data);  $result = $httpsqs->pget($host, $port, $charset, $name);  $result = $httpsqs->pgets($host, $port, $charset, $name);  $result = $httpsqs->pstatus($host, $port, $charset, $name);  $result = $httpsqs->pstatus_json($host, $port, $charset, $name);  $result = $httpsqs->pview($host, $port, $charset, $name, $pos);  $result = $httpsqs->preset($host, $port, $charset, $name);  $result = $httpsqs->pmaxqueue($host, $port, $charset, $name, $num);  $result = $httpsqs->psynctime($host, $port, $charset, $name, $num);  ?> 

<?php
......
include_once("httpsqs_client.php");
$httpsqs = new httpsqs;

/* -----不使用Keep-Alive的短連接方式----- */
/*
1. 將文本信息放入一個隊列
    如果入隊列成功,返回布爾值:true
    如果入隊列失敗,返回布爾值:false
*/
$result = $httpsqs->put($host, $port, $charset, $name, $data);

/*
2. 從一個隊列中取出文本信息
    返回該隊列的內容
    如果沒有未被取出的隊列,則返回文本信息:HTTPSQS_GET_END
    如果發生錯誤,返回布爾值:false
*/
$result = $httpsqs->get($host, $port, $charset, $name);

/*
3. 從一個隊列中取出文本信息和當前隊列讀取點Pos
    返回數組示例:array("pos" => 7, "data" => "text message")
    如果沒有未被取出的隊列,則返回數組:array("pos" => 0, "data" => "HTTPSQS_GET_END")
    如果發生錯誤,返回布爾值:false
*/
$result = $httpsqs->gets($host, $port, $charset, $name);

/*
4. 查看隊列狀態(普通方式)
*/
$result = $httpsqs->status($host, $port, $charset, $name);

/*
5. 查看隊列狀態(JSON方式)
    返回示例:{"name":"queue_name","maxqueue":5000000,"putpos":130,"putlap":1,"getpos":120,"getlap":1,"unread":10}
*/
$result = $httpsqs->status_json($host, $port, $charset, $name);

/*
6. 查看指定隊列位置點的內容
    返回指定隊列位置點的內容。
*/
$result = $httpsqs->view($host, $port, $charset, $name, $pos);

/*
7. 重置指定隊列
    如果重置隊列成功,返回布爾值:true
    如果重置隊列失敗,返回布爾值:false
*/
$result = $httpsqs->reset($host, $port, $charset, $name);

/*
8. 更改指定隊列的最大隊列數量
   如果更改成功,返回布爾值:true
   如果更改操作被取消,返回布爾值:false
*/
$result = $httpsqs->maxqueue($host, $port, $charset, $name, $num);

/*
9. 修改定時刷新內存緩衝區內容到磁盤的間隔時間
   如果更改成功,返回布爾值:true
   如果更改操作被取消,返回布爾值:false
*/
$result = $httpsqs->synctime($host, $port, $charset, $name, $num);

/* -----使用Keep-Alive的長連接方式 (在命令行模式下速度非常快)----- */
$result = $httpsqs->pput($host, $port, $charset, $name, $data);
$result = $httpsqs->pget($host, $port, $charset, $name);
$result = $httpsqs->pgets($host, $port, $charset, $name);
$result = $httpsqs->pstatus($host, $port, $charset, $name);
$result = $httpsqs->pstatus_json($host, $port, $charset, $name);
$result = $httpsqs->pview($host, $port, $charset, $name, $pos);
$result = $httpsqs->preset($host, $port, $charset, $name);
$result = $httpsqs->pmaxqueue($host, $port, $charset, $name, $num);
$result = $httpsqs->psynctime($host, $port, $charset, $name, $num);
?>


  (2)、Perl 客戶端說明文檔(第三方提供,作者:tonny0830):

  查看Perl客戶端源代碼:perl client

HttpSQS 模塊參數說明
開發平臺:CentOS 5.4
Perl版本:5.8.8
Editor: VIM
##################################################################
new 方法:

參數個數:4個

參數說明:
  1.HttpSQS-服務器IP地址。
  2.HttpSQS-工作端口號。
  3.Proto-連接服務器協議類型,TCP 還是UDP. 默認是TCP連接。
  4.Charset-字符集。默認是UTF-8。
###################################################################
put方法:

參數個數:2個

傳遞參數:
  1.隊列名
    2.以POST方式提交的字符串
####################################################################
get方法:

參數個數:1個

傳遞參數:
    1.隊列名
####################################################################
status方法:

參數個數:1個

傳遞參數:
    1.隊列名
#####################################################################
view方法:

參數個數:2個

傳遞參數:
    1.隊列名
    2.查看隊列的編號
#####################################################################
reset方法:

參數個數:1個

傳遞參數:
    1.隊列名
#####################################################################
maxqueue方法:

參數個數:2個

傳遞參數:
    1.隊列名
    2.指定的最大隊列數
#####################################################################
pput方法:

參數個數:2個

傳遞參數:
    1.隊列名
    2.POST方式提交的數據。
#####################################################################
pget方法:

參數個數:1個

傳遞參數:
    1.隊列名
#####################################################################
pstatus方法:

參數個數:1個

傳遞參數:
    1.隊列名
#####################################################################
pview方法:

參數個數:2個

傳遞參數:
    1.隊列名
    2.查看隊列的編號。
#####################################################################
pmaxqueue方法:

參數個數:2個

傳遞參數:
    1.隊列名
    2.指定隊列的最大數。
#####################################################################
preset方法:

參數個數:1個

傳遞參數:
    1.隊列名
#####################################################################

使用的例子見:
httpsqs_cmdline_test.pl
httpsqs_cmdline_loop_test.pl


  (3)、C 客戶端示例(第三方提供,作者:李博):

  查看C客戶端示例源代碼:C client


  (4)、Java 客戶端

  A、第一款客戶端(推薦)(第三方提供,作者:Snow Young):


  下載 1.0 版本:http://httpsqs.googlecode.com/files/httpsqs4j-java-client-1.0.zip

  從SVN下載最新代碼:svn checkout http://httpsqs.googlecode.com/svn/trunk/client/httpsqs4j/ httpsqs4j

  幫助文檔:http://blog.s135.com/book/httpsqs/client/httpsqs4j/


  B、第二款客戶端(第三方提供,作者:李博):

  查看Java客戶端示例源代碼:Java client


  (5)、Python客戶端(第三方提供,作者:Wendal):

  下載:http://wendal.net/261.html


  7、HTTPSQS 生產環境典型應用案例架構:

  

  一個採用PHP編寫的HTTPSQS客戶端簡單守護進程框架如下:

  環境,假設PHP安裝路徑爲/usr/local/webserver/php,使用PHP編寫一個文件/opt/httpsqs_client_daemon.php:

view plaincopy to clipboardprint?<?php  include_once dirname(__FILE__)."/httpsqs_client.php";     $httpsqs = new httpsqs;  while(true) {  $result = $httpsqs->pgets($host, $port, $charset, $name);  $pos = $result["pos"]; //當前隊列消息的讀取位置點$data = $result["data"]; //當前隊列消息的內容if ($data != "HTTPSQS_GET_END" && $data != "HTTPSQS_ERROR") {      ...去做應用操作...    } else {      sleep(1); //暫停1秒鐘後,再次循環  }  }  ?> 

<?php
include_once dirname(__FILE__)."/httpsqs_client.php";  
$httpsqs = new httpsqs;
while(true) {
  $result = $httpsqs->pgets($host, $port, $charset, $name);
  $pos = $result["pos"]; //當前隊列消息的讀取位置點
  $data = $result["data"]; //當前隊列消息的內容
  if ($data != "HTTPSQS_GET_END" && $data != "HTTPSQS_ERROR") {
    ...去做應用操作...
  } else {
    sleep(1); //暫停1秒鐘後,再次循環
  }
}
?>
  在Linux下,推送到後臺執行即可:
nohup /usr/local/webserver/php/bin/php /opt/httpsqs_client_daemon.php 2>&1 > /dev/null &

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章