PHP多進程併發控制的測試用例

http://blog.s135.com/post/311/

最近遇到一個問題，Linux下的PHP命令行程序作爲守護進程，需要從隊列文件中讀一行數據，通過TCP協議發送給外地的接收服務器，再讀下一行數據，再發送。當本地與外地的網絡狀況不好時，有時候發送一條數據所耗費的時間就較長，累積起來容易造成隊列堵塞和延遲。

　　於是，我準備用該PHP命令行程序生成多個子進程，將串行處理變成並行處理。最簡單的方法就是在PHP中用exec()或popen()函數將一個shell命令行推到後臺去執行，例如：

<?php
exec("/bin/sh /opt/zhangyan.sh &");
?>

　　最後的&表示將shell腳本推到後臺去執行。

　　但是這樣會有一個問題，如果推到後臺的進程太多，可能會導致服務器系統資源耗盡而崩潰，所以必須控制進程數量。

---

　　我寫了一個PHP程序（/opt/zhangyan.php）、一個shell程序（/opt/zhangyan.sh）作爲測試用例。

　　程序的邏輯：
　　1、設置/opt/zhangyan.php最多允許生成500個子進程；
　　2、當/opt/zhangyan.php讀取到一條數據後，將允許生成的子進程數減1（空閒進程數$p_number=500-1=499），然後將數據交給/opt/zhangyan.sh去後臺處理，不等待/opt/zhangyan.sh處理結束，繼續讀取下一條數據；
　　3、當允許生成的子進程數減至0時（空閒進程數$p_number=0），/opt/zhangyan.php會等待1秒鐘，然後檢查後臺還有多少個/opt/zhangyan.sh子進程尚未處理結束；
　　4、如果1秒鐘之後/opt/zhangyan.php發現後臺的/opt/zhangyan.sh子進程數還是500（空閒進程數$p_number=0），會繼續等待1秒鐘，如此反覆；
　　5、如果/opt/zhangyan.php發現後臺尚未處理結束的/opt/zhangyan.sh子進程數減少到300個了（空閒進程數$p_number=500-300=200），那麼/opt/zhangyan.php會再往後臺推送200個/opt/zhangyan.sh子進程；

---

/opt/zhangyan.php代碼如下：

<?php
function run($input)
{
    global $p_number;
    if ($p_number <= 0)
    {
        $p_number = worker_processes($p_number);
    }
    $p_number = $p_number - 1;
    $out = popen("/bin/sh /opt/zhangyan.sh \"{$input}\" &", "r");
    pclose($out);
}

function worker_processes($p_number)
{
    $limit = 500;//允許推到後臺的最大進程數
    while ($p_number <= 0)
    {
        $cmd = popen("ps -ef | grep \"/opt/zhangyan.sh\" | grep -v grep | wc -l", "r");
        $line = fread($cmd, 512);
        pclose($cmd);
        $p_number = $limit - $line;
        if ($p_number <= 0)
        {
            sleep(1);//暫停1秒鐘
        }
    }
    return $p_number;
}

$input = "http://blog.s135.com"; //模擬從隊列文件中讀取到的數據
for ($i = 1; $i <= 1000; $i++)
{
    run($input);
    echo "Idle process number: " . $p_number . "\n";
}
?>

　　（/opt/zhangyan.php程序用來模擬從隊列文件中讀取1000行數據，交給子進程/opt/zhangyan.sh去處理。）

---

/opt/zhangyan.sh代碼如下：

#!/bin/sh
echo $(date -d "today" +"%Y-%m-%d %H:%M:%S") $1 >> /opt/zhangyan.log
sleep_time=$(expr $RANDOM % 4 + 1)
sleep $sleep_time

　　（/opt/zhangyan.sh腳本用來模擬向外地接收服務器發送數據。其中的$(expr $RANDOM % 4 + 1)用來生成1～5之間的隨機數，用來使程序暫停1～5秒鐘。暫停1秒錶示網絡狀況好，發送數據順暢；暫停2～6秒錶示網絡狀況不好，發送過程需要1～5秒。）

---

　執行程序：

/usr/local/php/bin/php /opt/zhangyan.php

　（/usr/local/php/bin/php因PHP解析器所在的路徑）

　查看/opt/zhangyan.sh打下的日誌文件的第一行和最後一行：

head -n 1 /opt/zhangyan.log

　2007-11-16 07:54:13 http://blog.s135.com

tail -n 1 /opt/zhangyan.log

　2007-11-16 07:54:18 http://blog.s135.com

　　可以看出，500進程併發處理這1000條數據只耗費5秒鐘。而按照原來的串行模式，處理每條數據即使只耗費最短的1秒鐘，也需要1000秒，約合16分鐘才能完成。

---

　PS：將PHP程序作爲Linux守護進程的方法：

nohup /usr/local/php/bin/php /opt/zhangyan.php 2>&1 > /dev/null &

　（nohup命令可以在用戶退出終端後仍然執行程序，“2>&1 > /dev/null”表示不顯示標準輸出和錯誤輸出，最後的&表示推到後臺執行。）