python学习笔记10-python常用内建模块

1.collections

1.namedtuple

namedtuple是一个函数，它用来创建一个自定义的tuple对象，并且规定了tuple元素的个数，并可以用属性而不是索引来引用tuple的某个元素。 

>> from collections import namedtuple
>> Point = namedtuple('Point', ['x', 'y'])
>> p = Point(1, 2)
>> p.x
1
>> p.y
2

2.deque

因为list是线性存储，数据量大的时候，插入和删除效率很低。
deque是为了高效实现插入和删除操作的双向列表，适合用于队列和栈。 

>> from collections import deque
>> q = deque(['a', 'b', 'c'])
>> q.append('x')
>> q.appendleft('y')
>> q
deque(['y', 'a', 'b', 'c', 'x'])

3.defaultdict

使用dict时，如果引用的Key不存在，就会抛出KeyError。如果希望key不存在时，返回一个默认值，就可以用defaultdict 

>> from collections import defaultdict
>> dd = defaultdict(lambda: 'N/A')
>> dd['key1'] = 'abc'
>> dd['key1'] # key1存在
'abc'
>> dd['key2'] # key2不存在，返回默认值
'N/A'

4.OrderedDict

使用dict时，Key是无序的。在对dict做迭代时，我们无法确定Key的顺序。
如果要保持Key的顺序，可以用OrderedDict。 

>> from collections import OrderedDict
>> d = dict([('a', 1), ('b', 2), ('c', 3)])
>> d # dict的Key是无序的
{'a': 1, 'c': 3, 'b': 2}
>> od = OrderedDict([('a', 1), ('b', 2), ('c', 3)])
>> od # OrderedDict的Key是有序的
OrderedDict([('a', 1), ('b', 2), ('c', 3)])

5.Counter

Counter是一个简单的计数器，例如，统计字符出现的个数 

>> from collections import Counter
>> c = Counter()
>> for ch in 'programming':
...     c[ch] = c[ch] + 1
...
>> c
Counter({'g': 2, 'm': 2, 'r': 2, 'a': 1, 'i': 1, 'o': 1, 'n': 1, 'p': 1})

2.base64

1.base64

>> import base64
>> base64.b64encode('binary\x00string')
'YmluYXJ5AHN0cmluZw=='
>> base64.b64decode('YmluYXJ5AHN0cmluZw==')
'binary\x00string'

2.base64-urlsafe

由于标准的Base64编码后可能出现字符+和/，在URL中就不能直接作为参数 

>> base64.b64encode('i\xb7\x1d\xfb\xef\xff')
'abcd++//'
>> base64.urlsafe_b64encode('i\xb7\x1d\xfb\xef\xff')
'abcd--__'
>> base64.urlsafe_b64decode('abcd--__')
'i\xb7\x1d\xfb\xef\xff'

3.struct

struct的pack函数把任意数据类型变成字符串
pack的第一个参数是处理指令，'>I'的意思是：>表示字节顺序是big-endian，也就是网络序，I表示4字节无符号整数 

>> import struct
>> struct.pack('>I', 10240099)
'\x00\x9c@c'

unpack把str变成相应的数据类型
根据>IH的说明，后面的str依次变为I：4字节无符号整数和H：2字节无符号整数。 

>> struct.unpack('>IH', '\xf0\xf0\xf0\xf0\x80\x80')
(4042322160, 32896)

Windows的位图文件（.bmp）是一种非常简单的文件格式，我们来用struct分析一下。
首先找一个bmp文件，没有的话用“画图”画一个。
读入前30个字节来分析：
>> s = '\x42\x4d\x38\x8c\x0a\x00\x00\x00\x00\x00\x36\x00\x00\x00\x28\x00\x00\x00\x80\x02\x00\x00\x68\x01\x00\x00\x01\x00\x18\x00'
BMP格式采用小端方式存储数据，文件头的结构按顺序如下：
两个字节：'BM'表示Windows位图，'BA'表示OS/2位图；
一个4字节整数：表示位图大小；
一个4字节整数：保留位，始终为0；
一个4字节整数：实际图像的偏移量；
一个4字节整数：Header的字节数；
一个4字节整数：图像宽度；
一个4字节整数：图像高度；
一个2字节整数：始终为1；
一个2字节整数：颜色数。
所以，组合起来用unpack读取：
>> struct.unpack('<ccIIIIIIHH', s)
('B', 'M', 691256, 0, 54, 40, 640, 360, 1, 24)
结果显示，'B'、'M'说明是Windows位图，位图大小为640x360，颜色数为24。

4.hashlib

Python的hashlib提供了常见的摘要算法，如MD5，SHA1等等
md5

import hashlib
md5 = hashlib.md5()
md5.update('how to use md5 in python hashlib?')
print md5.hexdigest()

如果数据量很大，可以分块多次调用update()，最后计算的结果是一样的 

md5 = hashlib.md5()
md5.update('how to use md5 in ')
md5.update('python hashlib?')
print md5.hexdigest()

sha1

import hashlib
sha1 = hashlib.sha1()
sha1.update('how to use sha1 in ')
sha1.update('python hashlib?')
print sha1.hexdigest()

5.itertools