[文章作者:張宴 本文版本:v1.0 最后修改:2007.11.16 轉載請注明出處:http://blog.s135.com]

  最近遇到一個問題,Linux下的PHP命令行程序作為守護進程,需要從隊列文件中讀一行數(shù)據(jù),通過TCP協(xié)議發(fā)送給外地的接收服務器,再讀下一行數(shù)據(jù),再發(fā)送。當本地與外地的網(wǎng)絡狀況不好時,有時候發(fā)送一條數(shù)據(jù)所耗費的時間就較長,累積起來容易造成隊列堵塞和延遲。

  于是,我準備用該PHP命令行程序生成多個子進程,將串行處理變成并行處理。最簡單的方法就是在PHP中用exec()或popen()函數(shù)將一個shell命令行推到后臺去執(zhí)行,例如:
<?php
exec("/bin/sh /opt/zhangyan.sh &");
?>
  最后的&表示將shell腳本推到后臺去執(zhí)行。

  但是這樣會有一個問題,如果推到后臺的進程太多,可能會導致服務器系統(tǒng)資源耗盡而崩潰,所以必須控制進程數(shù)量。



  我寫了一個PHP程序(/opt/zhangyan.php)、一個shell程序(/opt/zhangyan.sh)作為測試用例。

  程序的邏輯:
  1、設置/opt/zhangyan.php最多允許生成500個子進程;
  2、當/opt/zhangyan.php讀取到一條數(shù)據(jù)后,將允許生成的子進程數(shù)減1(空閑進程數(shù)$p_number=500-1=499),然后將數(shù)據(jù)交給/opt/zhangyan.sh去后臺處理,不等待/opt/zhangyan.sh處理結束,繼續(xù)讀取下一條數(shù)據(jù);
  3、當允許生成的子進程數(shù)減至0時(空閑進程數(shù)$p_number=0),/opt/zhangyan.php會等待1秒鐘,然后檢查后臺還有多少個/opt/zhangyan.sh子進程尚未處理結束;
  4、如果1秒鐘之后/opt/zhangyan.php發(fā)現(xiàn)后臺的/opt/zhangyan.sh子進程數(shù)還是500(空閑進程數(shù)$p_number=0),會繼續(xù)等待1秒鐘,如此反復;
  5、如果/opt/zhangyan.php發(fā)現(xiàn)后臺尚未處理結束的/opt/zhangyan.sh子進程數(shù)減少到300個了(空閑進程數(shù)$p_number=500-300=200),那么/opt/zhangyan.php會再往后臺推送200個/opt/zhangyan.sh子進程;



/opt/zhangyan.php代碼如下:
  1. <?php   
  2. function run($input)   
  3. {   
  4.     global $p_number;   
  5.     if ($p_number <= 0)   
  6.     {   
  7.         $p_number = worker_processes($p_number);   
  8.     }   
  9.     $p_number = $p_number - 1;   
  10.     $out = popen("/bin/sh /opt/zhangyan.sh \"{$input}\" &""r");   
  11.     pclose($out);   
  12. }   
  13.   
  14. function worker_processes($p_number)   
  15. {   
  16.     $limit = 500;//允許推到后臺的最大進程數(shù)   
  17.     while ($p_number <= 0)   
  18.     {   
  19.         $cmd = popen("ps -ef | grep \"/opt/zhangyan.sh\" | grep -v grep | wc -l""r");   
  20.         $line = fread($cmd, 512);   
  21.         pclose($cmd);   
  22.         $p_number = $limit - $line;   
  23.         if ($p_number <= 0)   
  24.         {   
  25.             sleep(1);//暫停1秒鐘   
  26.         }   
  27.     }   
  28.     return $p_number;   
  29. }   
  30.   
  31. $input = "http://blog.s135.com"; //模擬從隊列文件中讀取到的數(shù)據(jù)   
  32. for ($i = 1; $i <= 1000; $i++)   
  33. {   
  34.     run($input);   
  35.     echo "Idle process number: " . $p_number . "\n";   
  36. }   
  37. ?>  
  (/opt/zhangyan.php程序用來模擬從隊列文件中讀取1000行數(shù)據(jù),交給子進程/opt/zhangyan.sh去處理。)



/opt/zhangyan.sh代碼如下:
  1. #!/bin/sh   
  2. echo $(date -d "today" +"%Y-%m-%d %H:%M:%S"$1 >> /opt/zhangyan.log   
  3. sleep_time=$(expr $RANDOM % 4 + 1)   
  4. sleep $sleep_time  
  (/opt/zhangyan.sh腳本用來模擬向外地接收服務器發(fā)送數(shù)據(jù)。其中的$(expr $RANDOM % 4 + 1)用來生成1~5之間的隨機數(shù),用來使程序暫停1~5秒鐘。暫停1秒表示網(wǎng)絡狀況好,發(fā)送數(shù)據(jù)順暢;暫停2~6秒表示網(wǎng)絡狀況不好,發(fā)送過程需要1~5秒。)



 執(zhí)行程序:
/usr/local/php/bin/php /opt/zhangyan.php

 (/usr/local/php/bin/php因PHP解析器所在的路徑)

 查看/opt/zhangyan.sh打下的日志文件的第一行和最后一行:
head -n 1 /opt/zhangyan.log
 2007-11-16 07:54:13 http://blog.s135.com
tail -n 1 /opt/zhangyan.log
 2007-11-16 07:54:18 http://blog.s135.com

  可以看出,500進程并發(fā)處理這1000條數(shù)據(jù)只耗費5秒鐘。而按照原來的串行模式,處理每條數(shù)據(jù)即使只耗費最短的1秒鐘,也需要1000秒,約合16分鐘才能完成。



 PS:將PHP程序作為Linux守護進程的方法:
nohup /usr/local/php/bin/php /opt/zhangyan.php 2>&1 > /dev/null &

 (nohup命令可以在用戶退出終端后仍然執(zhí)行程序,“2>&1 > /dev/null”表示不顯示標準輸出和錯誤輸出,最后的&表示推到后臺執(zhí)行。)