Python字符集編碼和文件讀寫

字符串編碼

---

python中默認編碼是ASCII，可以通過以下方式設置和獲取：

import sys
print sys.getdefaultencoding()
sys.setdefaultencoding('gbk')

但直到python重新啓動後新的默認編碼纔會生效，我試了一下，setdefaultencoding總是會出錯，沒有這個屬性。用dir看，確實沒有，python版本是2.5，不知道是否被取消了。

使用print來輸出時，python將內容傳遞給系統處理，windows會按照系統默認編碼來輸出。如果包含了中文，就要注意幾點。

1 python代碼文件的編碼
py文件默認是ASCII編碼，中文在顯示時會做一個ASCII到系統默認編碼的轉換，這時就會出錯：SyntaxError: Non-ASCII character。需要在代碼文件的第一行或第二行添加編碼指示：

1 # coding=gbk
2 print '中文'

2 字符串的編碼
像上面那樣直接輸入的字符串是按照代碼文件的編碼來處理的，如果是unicode編碼，有以下三種方式：

1 s1 = u'中文'
2 s2 = unicode('中文','gbk')
3 s3 = s1.decode('gbk')

unicode是一個內置函數，第二個參數指示源字符串的編碼格式。
decode是任何字符串具有的方法，將字符串轉換成unicode格式，參數指示源字符串的編碼格式。
encode也是任何字符串具有的方法，將字符串轉換成參數指定的格式。

3 系統的默認編碼
對 於中文系統來說，默認的是gbk，gb2312也可以，因爲它是gbk的字集。使用print輸出時，字符串會被轉換成此格式，隱式轉換時，是從代碼文件 編碼格式轉換成gbk，默認是ASCII->GBK。考慮上面第二點，如果字符串編碼不是ASCII，則隱式轉換會出錯，需要顯式轉換，使用 encode方法。如果指定了代碼文件格式爲gbk，則隱式轉換不存在問題。

1 # coding=gbk
2 
3 s = u'中文'
4 print s.encode('gbk')

文件讀寫

---

只是ASCII或者gbk編碼格式的的文件讀寫，比較簡單，讀寫如下：

 1 # coding=gbk
 2 
 3 f = open('c:/intimate.txt','r') # r 指示文件打開模式，即只讀
 4 s1 = f.read()
 5 s2 = f.readline()
 6 s3 = f.readlines() #讀出所有內容
 7 
 8 f.close()
 9 
10 f = open('c:/intimate.txt','w') # w 寫文件
11 f.write(s1)
12 f.writelines(s2) # 沒有writeline
13 f.close()

f.writelines不會輸出換行符。
unicode文件讀寫：

 1 # coding=gbk
 2 import codecs
 3 
 4 f = codecs.open('c:/intimate.txt','a','utf-8')
 5 f.write(u'中文')
 6 s = '中文'
 7 f.write(s.decode('gbk'))
 8 f.close()
 9 
10 f = codecs.open('c:/intimate.txt','r','utf-8')
11 s = f.readlines()
12 f.close()
13 for line in s:
14     print line.encode('gbk')

#---------------------------------------------------------------------------------------
以上爲轉發的內容,下面爲我做的一些補充。

對於上文中'setdefaultencoding總是會出錯'這個問題,可以通過以下方式解決:

import sys
reload(sys)
print sys.getdefaultencoding()
sys.setdefaultencoding('utf-8')

通過上面的代碼,應該就可以把系統的編碼方式更改了.

 

在我們對一個不規範合法的編碼字符串進行解碼時會拋出異常：

>>> s = "/x84/xe5/xb0/x8f/xe6/x98/x8e"
>>> s.decode('utf-8')

Traceback (most recent call last):
  File "<interactive input>", line 1, in ?
  File "E:/Program Files/Python24/lib/encodings/utf_8.py", line 16, in decode
UnicodeDecodeError: 'utf8' codec can't decode byte 0x84 in position 0: unexpected code byte
>>>

下面對s進行分析：

把s轉換爲二進制代碼爲：10000100 11100101 10110000 10001111 10110110 10011000 10001011

對這段二進制代碼分析：第一個字節爲10000100，而在utf-8編碼規範規定0x80 到 0xBF 範圍內的字節,只是跟隨字節, 它們本身並不是字符，因此此處把它放到第一個字節處不不合法的。然後對第二個字節進行分析可看出它左邊有三個連續的1，這意味着第二個字節和隨後的兩個字節，（即11100101 10110000 10001111 ）共三個字節一起編碼爲一個字符。同理可分析出後面的三個字節編碼爲一個字符。

因此我們只要把第一個不合法的字節去掉，就可以正常解碼了

 

>>> s = '/xe5/xb0/x8f/xe6/x98/x8e'
>>> print s.decode('utf-8')
小明
>>> 

問題是如果我們不知道字符裏的不合法字節的位置時該怎麼進行解碼並的出正常編碼的那些字符的結果呢，我們可以使用如下兩種方法：

>>> s = '/x84/xe5/xb0/x8f/xe6/x98/x8e/x84'
>>> s.decode('utf-8')
Traceback (most recent call last):
  File "<interactive input>", line 1, in ?
  File "E:/Program Files/Python24/lib/encodings/utf_8.py", line 16, in decode
UnicodeDecodeError: 'utf8' codec can't decode byte 0x84 in position 0: unexpected code byte
>>> print s.decode('utf-8', 'ignore')
小明
>>> print s.decode('utf-8', 'replace')
?小明?
>>> 

由上面的代碼我們可以看到調用decode函數時第二個參數爲對於不合法（即錯誤）的字節處理的方式，默認情況下爲'strict'，即出現錯誤字節就拋出異常。而'ignore'方式，則會忽略字符串中不合法的字節，'replace'方式下會用固定的字節替換掉那些不合法的字節。