python學習筆記10-python常用內建模塊

1.collections

1.namedtuple

namedtuple是一個函數，它用來創建一個自定義的tuple對象，並且規定了tuple元素的個數，並可以用屬性而不是索引來引用tuple的某個元素。 

>> from collections import namedtuple
>> Point = namedtuple('Point', ['x', 'y'])
>> p = Point(1, 2)
>> p.x
1
>> p.y
2

2.deque

因爲list是線性存儲，數據量大的時候，插入和刪除效率很低。
deque是爲了高效實現插入和刪除操作的雙向列表，適合用於隊列和棧。 

>> from collections import deque
>> q = deque(['a', 'b', 'c'])
>> q.append('x')
>> q.appendleft('y')
>> q
deque(['y', 'a', 'b', 'c', 'x'])

3.defaultdict

使用dict時，如果引用的Key不存在，就會拋出KeyError。如果希望key不存在時，返回一個默認值，就可以用defaultdict 

>> from collections import defaultdict
>> dd = defaultdict(lambda: 'N/A')
>> dd['key1'] = 'abc'
>> dd['key1'] # key1存在
'abc'
>> dd['key2'] # key2不存在，返回默認值
'N/A'

4.OrderedDict

使用dict時，Key是無序的。在對dict做迭代時，我們無法確定Key的順序。
如果要保持Key的順序，可以用OrderedDict。 

>> from collections import OrderedDict
>> d = dict([('a', 1), ('b', 2), ('c', 3)])
>> d # dict的Key是無序的
{'a': 1, 'c': 3, 'b': 2}
>> od = OrderedDict([('a', 1), ('b', 2), ('c', 3)])
>> od # OrderedDict的Key是有序的
OrderedDict([('a', 1), ('b', 2), ('c', 3)])

5.Counter

Counter是一個簡單的計數器，例如，統計字符出現的個數 

>> from collections import Counter
>> c = Counter()
>> for ch in 'programming':
...     c[ch] = c[ch] + 1
...
>> c
Counter({'g': 2, 'm': 2, 'r': 2, 'a': 1, 'i': 1, 'o': 1, 'n': 1, 'p': 1})

2.base64

1.base64

>> import base64
>> base64.b64encode('binary\x00string')
'YmluYXJ5AHN0cmluZw=='
>> base64.b64decode('YmluYXJ5AHN0cmluZw==')
'binary\x00string'

2.base64-urlsafe

由於標準的Base64編碼後可能出現字符+和/，在URL中就不能直接作爲參數 

>> base64.b64encode('i\xb7\x1d\xfb\xef\xff')
'abcd++//'
>> base64.urlsafe_b64encode('i\xb7\x1d\xfb\xef\xff')
'abcd--__'
>> base64.urlsafe_b64decode('abcd--__')
'i\xb7\x1d\xfb\xef\xff'

3.struct

struct的pack函數把任意數據類型變成字符串
pack的第一個參數是處理指令，'>I'的意思是：>表示字節順序是big-endian，也就是網絡序，I表示4字節無符號整數 

>> import struct
>> struct.pack('>I', 10240099)
'\x00\x9c@c'

unpack把str變成相應的數據類型
根據>IH的說明，後面的str依次變爲I：4字節無符號整數和H：2字節無符號整數。 

>> struct.unpack('>IH', '\xf0\xf0\xf0\xf0\x80\x80')
(4042322160, 32896)

Windows的位圖文件（.bmp）是一種非常簡單的文件格式，我們來用struct分析一下。
首先找一個bmp文件，沒有的話用“畫圖”畫一個。
讀入前30個字節來分析：
>> s = '\x42\x4d\x38\x8c\x0a\x00\x00\x00\x00\x00\x36\x00\x00\x00\x28\x00\x00\x00\x80\x02\x00\x00\x68\x01\x00\x00\x01\x00\x18\x00'
BMP格式採用小端方式存儲數據，文件頭的結構按順序如下：
兩個字節：'BM'表示Windows位圖，'BA'表示OS/2位圖；
一個4字節整數：表示位圖大小；
一個4字節整數：保留位，始終爲0；
一個4字節整數：實際圖像的偏移量；
一個4字節整數：Header的字節數；
一個4字節整數：圖像寬度；
一個4字節整數：圖像高度；
一個2字節整數：始終爲1；
一個2字節整數：顏色數。
所以，組合起來用unpack讀取：
>> struct.unpack('<ccIIIIIIHH', s)
('B', 'M', 691256, 0, 54, 40, 640, 360, 1, 24)
結果顯示，'B'、'M'說明是Windows位圖，位圖大小爲640x360，顏色數爲24。

4.hashlib

Python的hashlib提供了常見的摘要算法，如MD5，SHA1等等
md5

import hashlib
md5 = hashlib.md5()
md5.update('how to use md5 in python hashlib?')
print md5.hexdigest()

如果數據量很大，可以分塊多次調用update()，最後計算的結果是一樣的 

md5 = hashlib.md5()
md5.update('how to use md5 in ')
md5.update('python hashlib?')
print md5.hexdigest()

sha1

import hashlib
sha1 = hashlib.sha1()
sha1.update('how to use sha1 in ')
sha1.update('python hashlib?')
print sha1.hexdigest()

5.itertools