PHP中的pack和unpack函數

轉載請註明文章出處:https://tlanyan.me/php-pack-a...

PHP有兩個重要的冷門函數:packunpack。在網絡編程,讀寫圖像文件等場景,這兩個函數幾乎必不可少。鑑於文件讀寫/網絡編程,或者說字節流處理的重要性,掌握這兩個函數是邁向高級PHP編程的基礎。

本文先介紹字節字符的區別,說明兩個函數存在的必要性和重要性。然後介紹基本用法和使用場景,讓讀者對其有大體瞭解,爲實際使用中奠定基礎。

字節和字符

PHP的優勢是簡單易用,熟練運用 字符串數組 相關函數就能抗住一般的需求。日常工作中多用到字符串,所以PHP開發對字符都比較熟悉,稍微資深點基本能也能弄清字符編碼。但字符的伴生概念:字節,不少PHP開發並不知曉/熟悉。

這不怪他們。PHP世界裏極少出現“字節(流)”的概念:沒有byte關鍵字(當然也沒有char),官方文檔也沒提字節;沒有原生的數組支持(常用的array其實是hashtable);當然字符串(string)能表達其他語言中的字節數組(Byte Array, byte[])。

字節字符有什麼聯繫和區別呢?簡單來說字節是計算機存儲和操作的最小單位,字符是人們閱讀的最小單位;字節是存儲(物理)概念,字符是邏輯概念;字節代表數據(內涵和本質),字符代表其含義字符由字節組成

舉幾個例子說明兩者區別:“中國”包含2個字符,GBK編碼表示需要4個字節,UTF-8編碼需要6個字節;數字“1234567890”,包含10個字符,用int32類型表示只需4個字節;下面的圖片佔用42582個字節,用字符表示是“我老婆”,只佔用3個字符:

我老婆

再舉一個常用的例子說明字符和字節的區別。開發中我們常用md5算法獲取數據的哈希值,算法返回一個128位(bit)的數據(16個字節)。爲方便查看其值,人們約定成俗地用十六進制表示,結果就是我們熟知的32位長度的字符串(不區分大小寫)。32長度字符串不是md5算法的必然結果,16字節數據纔是其本質。如果你願意,可以用一個小於2^128的數字表示哈希結果,也可以將16字節base64編碼後作爲其結果。所以常用的32位哈希值與md5返回的16字節關係爲:一個是字符表示,另一個則是其本質(字符數組)(PHP的md5函數第二個參數值爲true便可得到16字節數據,或hash函數第三個參數爲true)。

相關概念還有字節序字符編碼等,本文不做展開。感興趣的讀者可參考本人之前的博客“文件和字符編碼”或相關材料。

引言

PHP中專門處理字符串的函數有幾十個,加上正則、時間等函數,字符串處理的函數不下百個。相比之下字節處理門庭冷落,相關函數寥寥無幾。除了常用的ord/chr,哈希加密函數返回的原始字節、openssl庫的openssl_random_pseudo_bytes等函數真正處理或返回 字節外,最重要的兩個字節處理函數是packunpack

本節從問題引出pack函數的使用。

問題

考慮一個簡單的問題:宇宙的終極答案42在內存中是如何表示的(或者說怎麼獲取其字節數組)?

因爲42是一個整數,根據硬件不同,其佔用字節大小可能爲1, 2, 4, 8等。這裏我們限定一個整數佔用4個字節,於是問題的等價表述爲:怎樣將一個整數轉換成字節數組(本機序,4個字節)?

分析

因爲是多字節,所以要考慮字節序的問題。42不超過255,只佔用一個字節,故而其他三個字節都是0。據此得到結論:如果是大端序(低位字節存放在地址高位),四個字節分別是:0 0 0 42;如果是小端序,結果則是:42 0 0 0

那怎麼知道機器的字節序呢?PHP沒有提供相關功能,也不能像C語言直接取地址訪問字節數據。無所不能的PHP該怎麼搞定字節序,或者說完成數據向字節的轉換?

方案

PHP應用層面,數據向字節(數組)的轉換是pack的專場,字節(數組)向數據的轉換則是unpack的專場。除這兩個函數,字節數組(或二進制數據)向數據的轉換幾無可能(如果有請不吝指教)。

現在我們用pack函數獲取42在內存中的字節數組。相關代碼如下:

function intToBytes(int $num) : string {
    return pack("l", $num);
}

function outputBytes(string $bytes) {
    echo "bytes: ";
    for ($i = 0; $i < strlen($bytes); ++ $i) {
        echo ord($bytes[$i]), " ";
    }
    echo PHP_EOL;
}

outputBytes(intToBytes(42));

// 程序輸出:
bytes: 42 0 0 0

本人計算機用的英特爾的CPU,x86架構是小端序,所以程序輸出符合預期。

延伸一下,怎麼判斷機器的字節序?有了pack函數,答案非常簡單:

function bigEndian() : bool {
    $data = 0x1200;
    $bytes = pack("s", $data);

    return ord($bytes[0]) === 0x12;
}

調用函數便返回本機是否大端序。

上述是pack函數簡單的使用場景,接下來分別介紹packunpack函數。

packunpack

pack函數

pack是“打包/封包”的意思。如其名,pack函數的工作是將數據按照格式打包成字節數組。函數原型爲:

pack ( string $format [, mixed $... ] ) : string

形式上與printf系列函數相同:第一個參數是格式字符串,其餘參數是要格式化的參數。不同之處在於pack函數的格式中不能出現元字符和量詞外的其他字符,所以不需要%符號。

上文的例子中使用了"l"和"s"兩個格式化元字符,pack函數的元字符主要分爲三類:

  1. 字符串:aA等;將數據轉成字符串,功能上與sprintf類似,例如整數32轉換成字符串"32";
  2. 字節:hH;對字節進行16進制編碼,區別在於低位還是高位在前,功能上與dechex等函數類似;
  3. char/short/int/long/float/double六種基本類型:c/s/i/l等;將數據轉換成對應類型的字節數組,除char類型外(暫)沒有其他函數可替代;

注意:chara/A等的區別是a/A等輸入爲字符(串),而's/S'的輸入要求是小於256的整數,輸入字符會得到0

量詞比較簡單:數字和""兩種。例如"i2"表示將兩個參數按照整數轉換,"c"表示後續都按照char類型轉換。

unpack

unpackpack的反向操作:將字節數組解析成有意義的數據。其函數原型爲:

unpack ( string $format , string $data [, int $offset = 0 ] ) : array

unpack函數需要注意的是第一個參數和返回值。返回值好理解,pack函數相當於將除格式化參數外的參數數組(想象成call_user_func_array的參數)變成一個字節數組;unpack做相反的事情:釋放數據,得到輸入時的參數數組。

返回一個數組,其鍵分別是什麼呢?這便是格式化參數($format)在packunpack的不同之處:unpack應該對釋放出來的數據命名,用"/"分隔各組數據。由於格式化參數允許有非元字符和量詞外的字符,爲了區分數據,不同數據間的"/"分隔符必不可少。

一個例子:

$bytes = pack("iaa*", 42, ":", "The answer to life, the universe and everything");

outputBytes($bytes);


$result = unpack("inumber/acolon/a*word", $bytes);
print_r($result);

// 程序輸出:
bytes: 42 0 0 0 58 84 104 101 32 97 110 115 119 101 114 32 116 111 32 108 105 102 101 44 32 116 104 101 32 117 110 105 118 101 114 115 101 32 97 110 100 32 101 118 101 114 121 116 104 105 110 103
Array
(
    [num] => 42
    [colon] => :
    [word] => The answer to life, the universe and everything
)

如果不對釋放出來的數據命名會怎麼樣?例如上例中unpack的格式化參數爲:"i/a/a*",結果是什麼呢?其結果爲:

Array
(
    [1] => The answer to life, the universe and everything
)

爲何?官方文檔上如是說:

Caution If you do not name an element, numeric indices starting from 1 are used. Be aware that if you have more than one unnamed element, some data is overwritten because the numbering restarts from 1 for each element.

翻譯過來就是:如果你不對數據命名,默認的1, 2, 3...就用來當作鍵值。如果有多組數據,每組都用同樣的下標,會導致數據覆蓋。

所以能理解 "i/a/a*" 爲何只剩最後一組數據了吧?

應用場景

讀取圖像、word/excel文件,解析binlog、二進制ip數據庫文件等場合,packunpack幾乎必不可少。本文舉例說一下packunpack在網絡編程時協議解析的用途。

假設我們的tcp包格式爲:前四個字節表示包大小,其餘字節爲數據內容。於是客戶(發送)端的send函數可以長這樣:

public function send($data) {
  // 這裏假設$data已經做了序列化、加密等操作,是字節數組
  // 計算報文長度,封裝報文
  $len = strlen($data);
  $header = pack("L", $len);
  // 轉換成網絡(大端)序
  $header = xxx
  // 封包
  $binary = $header . $data;
  // 調用fwrite/socket_send等將數據寫入內核緩衝區
  ...
}

服務(接收)端根據協議解析接收到的數據流:

public function decodable($session, $buffer) {
  $dataLen = strlen($buffer);
  // 非法數據包
  if ($dataLen < 4) {
    // 關閉連接、記錄ip等
    ....
    return NOT_OK;
  }
  // 獲取前四個字節
  $header = substr($buffer, 0, 4);
  // 轉換成主機序
  $header = xxx
  // 解析數據長度
  $len = unpack("L", $header);
  // 單個報文不能超過8M,例如限制上傳的圖像大小
  if ($len > 8 * 1024 * 1024) {
    // 關閉連接等
    return NOT_OK;
  }

  // 檢查數據包是否滿足協議要求
  if ($dataLen - 4 >= $len) {
    return OK;
  }
  // 數據未全部到達,繼續等待
  return NEED_DATA;
}

通過packunpack,我們順利的處理報文協議和二進制字節流的發送和解析。

如果你用\n作爲報文分隔符,packunpack也許用不到。但在網絡通訊中直接傳遞字符畢竟少數(相當於明文傳送),大多數情況下的二進制數據流的解析還是要靠packunpack

總結

除分配內存,最重要的系統調用莫過於文件讀寫和網絡連接,而兩者的本質操作對象都是字節流。packunpack爲PHP提供了底層字節操作的能力,在二進制數據處理中十分有用。有志於跳出web編程的PHP開發應該都要掌握這兩個函數。

參考

  1. 文件和字符編碼
  2. PHP Manual: pack
  3. PHP Manual: unpack
  4. Handling binary data in PHP with pack() and unpack()
  5. PHP: 深入pack/unpack
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章