Python中struct模塊的使用

  一、struct簡介

       看到struct這麼英文單詞,大家應該並不陌生,因爲c/c++中就有struct,在那裏struct叫做結構體。在Python中也使用struct,這充分說明了這個struct應該和c/c++中的struct有很深的淵源。Python正是使用struct模塊執行Python值和C結構體之間的轉換,從而形成Python字節對象。它使用格式字符串作爲底層C結構體的緊湊描述,進而根據這個格式字符串轉換成Python值。

     二、主要函數

        struct模塊中最主要的三個函數式pack()、unpack()、calcsize()。

     pack(fmt, v1, v2, ...)  ------ 根據所給的fmt描述的格式將值v1,v2,...轉換爲一個字符串。

     unpack(fmt, bytes)    ------ 根據所給的fmt描述的格式將bytes反向解析出來,返回一個元組。

     calcsize(fmt)             ------ 根據所給的fmt描述的格式返回該結構的大小。

     三、格式字符

    格式字符有下面的定義:

 Format          C Type              Python    字節數
         x    pad byte    no value         1
         c    charbytes of length 1         1
         b    signed char    integer         1
         B   unsigned char    integer         1
         ?   _Bool    bool         1
         h

   short

    integer         2
         H   unsigned short    integer         2
         i   int    integer         4
         I   unsigned int    integer         4
         l   long    integer         4
         L   unsigned long    integer         4
        q   long long    integer         8
        Q   unsigned long long    integer         8
        f   float    float         4
        d   double    float         8
        s   char[]    bytes         1
        p   char[]    bytes         1
       P   void *    integer

 注意: 1. c,s和p按照bytes對象執行轉碼操作,但是在使用UTF-8編碼時,也支持str對象。

             2. ‘?’按照C99中定義的_Bool類型轉碼。如果該類型不可用,可使用一個char冒充。

             3. ‘q'和’Q‘僅在64位系統上有用。

         四.示例

     現在我們有了格式字符串,也知道了封裝函數,那現在先通過一兩個例子看一看。

      例一:比如有一個報文頭部在C語言中是這樣定義的

      struct header

      {

          unsigned short  usType;

          char[4]               acTag;

          unsigned int      uiVersion;

          unsigned int      uiLength;

      };

      在C語言對將該結構體封裝到一塊緩存中是很簡單的,可以使用memcpy()實現。在Python中,使用struct就需要這樣:

              str = struct.pack('B4sII', 0x04, 'aaaa', 0x01, 0x0e)

      'B4sII'  ------   有一個unsigned short、char[4], 2個unsigned int。其中s之前的數字說明了字符串的大小 。

              type, tag, version, length = struct.unpack('B4sll', str)

例二:

  s=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
  data=struct.pack('IIIIi',dwStrHeader,dwDataLen,dwDevID,dwChnHLSD,nVUValue)
  s.sendto(data,('192.168.0.199',33333))
  s.close()






有的時候需要用python處理二進制數據,比如,存取文件,socket操作時.這時候,可以使用python的struct模塊來完成.可以用 struct來處理c語言中的結構體.
 

struct模塊中最重要的三個函數是pack(), unpack(), calcsize()

pack(fmt, v1, v2, ...)     按照給定的格式(fmt),把數據封裝成字符串(實際上是類似於c結構體的字節流)

unpack(fmt, string)       按照給定的格式(fmt)解析字節流string,返回解析出來的tuple

calcsize(fmt)                 計算給定的格式(fmt)佔用多少字節的內存
 

struct中支持的格式如下表:

FormatC TypePython字節數
xpad byteno value1
ccharstring of length 11
bsigned charinteger1
Bunsigned charinteger1
?_Boolbool1
hshortinteger2
Hunsigned shortinteger2
iintinteger4
Iunsigned intinteger or long4
llonginteger4
Lunsigned longlong4
qlong longlong8
Qunsigned long longlong8
ffloatfloat4
ddoublefloat8
schar[]string1
pchar[]string1
Pvoid *long

注1.q和Q只在機器支持64位操作時有意思

注2.每個格式前可以有一個數字,表示個數

注3.s格式表示一定長度的字符串,4s表示長度爲4的字符串,但是p表示的是pascal字符串

注4.P用來轉換一個指針,其長度和機器字長相關

注5.最後一個可以用來表示指針類型的,佔4個字節
 

爲了同c中的結構體交換數據,還要考慮有的c或c++編譯器使用了字節對齊,通常是以4個字節爲單位的32位系統,故而struct根據本地機器字節順序轉換.可以用格式中的第一個字符來改變對齊方式.定義如下:

CharacterByte orderSize and alignment
@nativenative            湊夠4個字節
=nativestandard        按原字節數
<little-endianstandard        按原字節數
>big-endianstandard       按原字節數
!network (= big-endian)

standard       按原字節數

使用方法是放在fmt的第一個位置,就像'@5s6sif'
 

示例一:

比如有一個結構體

struct Header

{

    unsigned short id;

    char[4] tag;

    unsigned int version;

    unsigned int count;

}

通過socket.recv接收到了一個上面的結構體數據,存在字符串s中,現在需要把它解析出來,可以使用unpack()函數.

import struct

id, tag, version, count = struct.unpack("!H4s2I", s)

上面的格式字符串中,!表示我們要使用網絡字節順序解析,因爲我們的數據是從網絡中接收到的,在網絡上傳送的時候它是網絡字節順序的.後面的H表示 一個unsigned short的id,4s表示4字節長的字符串,2I表示有兩個unsigned int類型的數據.


就通過一個unpack,現在id, tag, version, count裏已經保存好我們的信息了.

同樣,也可以很方便的把本地數據再pack成struct格式.

ss = struct.pack("!H4s2I", id, tag, version, count);

pack函數就把id, tag, version, count按照指定的格式轉換成了結構體Header,ss現在是一個字符串(實際上是類似於c結構體的字節流),可以通過 socket.send(ss)把這個字符串發送出去.


示例二:

import struct

a=12.34

#將a變爲二進制

bytes=struct.pack('i',a)

此時bytes就是一個string字符串,字符串按字節同a的二進制存儲內容相同。


再進行反操作

現有二進制數據bytes,(其實就是字符串),將它反過來轉換成python的數據類型:

a,=struct.unpack('i',bytes)

注意,unpack返回的是tuple

所以如果只有一個變量的話:

bytes=struct.pack('i',a)

那麼,解碼的時候需要這樣

a,=struct.unpack('i',bytes) 或者 (a,)=struct.unpack('i',bytes)

如果直接用a=struct.unpack('i',bytes),那麼 a=(12.34,) ,是一個tuple而不是原來的浮點數了。


如果是由多個數據構成的,可以這樣:

a='hello'

b='world!'

c=2

d=45.123

bytes=struct.pack('5s6sif',a,b,c,d)

此時的bytes就是二進制形式的數據了,可以直接寫入文件比如 binfile.write(bytes)

然後,當我們需要時可以再讀出來,bytes=binfile.read()

再通過struct.unpack()解碼成python變量

a,b,c,d=struct.unpack('5s6sif',bytes)

'5s6sif'這個叫做fmt,就是格式化字符串,由數字加字符構成,5s表示佔5個字符的字符串,2i,表示2個整數等等,下面是可用的字符及類型,ctype表示可以與python中的類型一一對應。


注意:二進制文件處理時會碰到的問題

我們使用處理二進制文件時,需要用如下方法

binfile=open(filepath,'rb')    讀二進制文件

binfile=open(filepath,'wb')    寫二進制文件

那麼和binfile=open(filepath,'r')的結果到底有何不同呢?

不同之處有兩個地方:

第一,使用'r'的時候如果碰到'0x1A',就會視爲文件結束,這就是EOF。使用'rb'則不存在這個問題。即,如果你用二進制寫入再用文本讀出的話,如果其中存在'0X1A',就只會讀出文件的一部分。使用'rb'的時候會一直讀到文件末尾。

第二,對於字符串x='abc\ndef',我們可用len(x)得到它的長度爲7,\n我們稱之爲換行符,實際上是'0X0A'。當我們用'w'即文本方式寫的時候,在windows平臺上會自動將'0X0A'變成兩個字符'0X0D','0X0A',即文件長度實際上變成8.。當用'r'文本方式讀取時,又自動的轉換成原來的換行符。如果換成'wb'二進制方式來寫的話,則會保持一個字符不變,讀取時也是原樣讀取。所以如果用文本方式寫入,用二進制方式讀取的話,就要考慮這多出的一個字節了。'0X0D'又稱回車符。linux下不會變。因爲linux只使用'0X0A'來表示換行。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章