本文系轉載 地址http://www.cnblogs.com/huxi/archive/2010/12/05/1897271.html
本文簡單介紹了各種常用的字符編碼的特點,並介紹了在python2.x中如何與編碼問題作戰 :)
請注意本文關於Python的內容僅適用於2.x,3.x中str和unicode有翻天覆地的變化,請查閱其他相關文檔。尊重作者的勞動,轉載請註明作者及原文地址 >.<
1. 字符編碼簡介
1.1. ASCII
ASCII(American Standard Code for Information Interchange),是一種單字節的編碼。計算機世界裏一開始只有英文,而單字節可以表示256個不同的字符,可以表示所有的英文字符和許多的控制符號。不過ASCII只用到了其中的一半(\x80以下),這也是MBCS得以實現的基礎。
1.2. MBCS
然而計算機世界裏很快就有了其他語言,單字節的ASCII已無法滿足需求。後來每個語言就制定了一套自己的編碼,由於單字節能表示的字符太少,而且同時也需要與ASCII編碼保持兼容,所以這些編碼紛紛使用了多字節來表示字符,如GBxxx、BIGxxx等等,他們的規則是,如果第一個字節是\x80以下,則仍然表示ASCII字符;而如果是\x80以上,則跟下一個字節一起(共兩個字節)表示一個字符,然後跳過下一個字節,繼續往下判斷。
這裏,IBM發明了一個叫Code Page的概念,將這些編碼都收入囊中並分配頁碼,GBK是第936頁,也就是CP936。所以,也可以使用CP936表示GBK。
MBCS(Multi-Byte Character Set)是這些編碼的統稱。目前爲止大家都是用了雙字節,所以有時候也叫做DBCS(Double-Byte Character Set)。必須明確的是,MBCS並不是某一種特定的編碼,Windows里根據你設定的區域不同,MBCS指代不同的編碼,而Linux裏無法使用MBCS作爲編碼。在Windows中你看不到MBCS這幾個字符,因爲微軟爲了更加洋氣,使用了ANSI來嚇唬人,記事本的另存爲對話框裏編碼ANSI就是MBCS。同時,在簡體中文Windows默認的區域設定裏,指代GBK。
1.3. Unicode
後來,有人開始覺得太多編碼導致世界變得過於複雜了,讓人腦袋疼,於是大家坐在一起拍腦袋想出來一個方法:所有語言的字符都用同一種字符集來表示,這就是Unicode。
最初的Unicode標準UCS-2使用兩個字節表示一個字符,所以你常常可以聽到Unicode使用兩個字節表示一個字符的說法。但過了不久有人覺得256*256太少了,還是不夠用,於是出現了UCS-4標準,它使用4個字節表示一個字符,不過我們用的最多的仍然是UCS-2。
UCS(Unicode Character Set)還僅僅是字符對應碼位的一張表而已,比如"漢"這個字的碼位是6C49。字符具體如何傳輸和儲存則是由UTF(UCS Transformation Format)來負責。
一開始這事很簡單,直接使用UCS的碼位來保存,這就是UTF-16,比如,"漢"直接使用\x6C\x49保存(UTF-16-BE),或是倒過來使用\x49\x6C保存(UTF-16-LE)。但用着用着美國人覺得自己吃了大虧,以前英文字母只需要一個字節就能保存了,現在大鍋飯一吃變成了兩個字節,空間消耗大了一倍……於是UTF-8橫空出世。
UTF-8是一種很彆扭的編碼,具體表現在他是變長的,並且兼容ASCII,ASCII字符使用1字節表示。然而這裏省了的必定是從別的地方摳出來的,你肯定也聽說過UTF-8裏中文字符使用3個字節來保存吧?4個字節保存的字符更是在淚奔……(具體UCS-2是怎麼變成UTF-8的請自行搜索)
另外值得一提的是BOM(Byte Order Mark)。我們在儲存文件時,文件使用的編碼並沒有保存,打開時則需要我們記住原先保存時使用的編碼並使用這個編碼打開,這樣一來就產生了許多麻煩。(你可能想說記事本打開文件時並沒有讓選編碼?不妨先打開記事本再使用文件 -> 打開看看)而UTF則引入了BOM來表示自身編碼,如果一開始讀入的幾個字節是其中之一,則代表接下來要讀取的文字使用的編碼是相應的編碼:
BOM_UTF8 '\xef\xbb\xbf'
BOM_UTF16_LE '\xff\xfe'
BOM_UTF16_BE '\xfe\xff'
並不是所有的編輯器都會寫入BOM,但即使沒有BOM,Unicode還是可以讀取的,只是像MBCS的編碼一樣,需要另行指定具體的編碼,否則解碼將會失敗。
你可能聽說過UTF-8不需要BOM,這種說法是不對的,只是絕大多數編輯器在沒有BOM時都是以UTF-8作爲默認編碼讀取。即使是保存時默認使用ANSI(MBCS)的記事本,在讀取文件時也是先使用UTF-8測試編碼,如果可以成功解碼,則使用UTF-8解碼。記事本這個彆扭的做法造成了一個BUG:如果你新建文本文件並輸入"奼塧"然後使用ANSI(MBCS)保存,再打開就會變成"漢a",你不妨試試 :)
2. Python2.x中的編碼問題
2.1. str和unicode
str和unicode都是basestring的子類。嚴格意義上說,str其實是字節串,它是unicode經過編碼後的字節組成的序列。對UTF-8編碼的str'漢'使用len()函數時,結果是3,因爲實際上,UTF-8編碼的'漢' == '\xE6\xB1\x89'。
unicode纔是真正意義上的字符串,對字節串str使用正確的字符編碼進行解碼後獲得,並且len(u'漢') == 1。
再來看看encode()和decode()兩個basestring的實例方法,理解了str和unicode的區別後,這兩個方法就不會再混淆了:
1
2
3
4
5
6
7
8
9
10
11
12
13
|
#
coding: UTF-8 u
= u '漢' print repr (u)
#
u'\u6c49' s
= u.encode( 'UTF-8' ) print repr (s)
#
'\xe6\xb1\x89' u2
= s.decode( 'UTF-8' ) print repr (u2)
#
u'\u6c49' #
對unicode進行解碼是錯誤的 #
s2 = u.decode('UTF-8') #
同樣,對str進行編碼也是錯誤的 #
u2 = s.encode('UTF-8') |
需要注意的是,雖然對str調用encode()方法是錯誤的,但實際上Python不會拋出異常,而是返回另外一個相同內容但不同id的str;對unicode調用decode()方法也是這樣。很不理解爲什麼不把encode()和decode()分別放在unicode和str中而是都放在basestring中,但既然已經這樣了,我們就小心避免犯錯吧。
2.2. 字符編碼聲明
源代碼文件中,如果有用到非ASCII字符,則需要在文件頭部進行字符編碼的聲明,如下:
1
|
#-*-
coding: UTF-8 -*- |
實際上Python只檢查#、coding和編碼字符串,其他的字符都是爲了美觀加上的。另外,Python中可用的字符編碼有很多,並且還有許多別名,還不區分大小寫,比如UTF-8可以寫成u8。參見http://docs.python.org/library/codecs.html#standard-encodings。
另外需要注意的是聲明的編碼必須與文件實際保存時用的編碼一致,否則很大機率會出現代碼解析異常。現在的IDE一般會自動處理這種情況,改變聲明後同時換成聲明的編碼保存,但文本編輯器控們需要小心 :)
2.3. 讀寫文件
內置的open()方法打開文件時,read()讀取的是str,讀取後需要使用正確的編碼格式進行decode()。write()寫入時,如果參數是unicode,則需要使用你希望寫入的編碼進行encode(),如果是其他編碼格式的str,則需要先用該str的編碼進行decode(),轉成unicode後再使用寫入的編碼進行encode()。如果直接將unicode作爲參數傳入write()方法,Python將先使用源代碼文件聲明的字符編碼進行編碼然後寫入。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
#
coding: UTF-8 f
= open ( 'test.txt' ) s
= f.read() f.close() print type (s)
#
<type 'str'> #
已知是GBK編碼,解碼成unicode u
= s.decode( 'GBK' ) f
= open ( 'test.txt' ,
'w' ) #
編碼成UTF-8編碼的str s
= u.encode( 'UTF-8' ) f.write(s) f.close() |
另外,模塊codecs提供了一個open()方法,可以指定一個編碼打開文件,使用這個方法打開的文件讀取返回的將是unicode。寫入時,如果參數是unicode,則使用open()時指定的編碼進行編碼後寫入;如果是str,則先根據源代碼文件聲明的字符編碼,解碼成unicode後再進行前述操作。相對內置的open()來說,這個方法比較不容易在編碼上出現問題。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
#
coding: GBK import codecs f
= codecs. open ( 'test.txt' ,
encoding = 'UTF-8' ) u
= f.read() f.close() print type (u)
#
<type 'unicode'> f
= codecs. open ( 'test.txt' ,
'a' ,
encoding = 'UTF-8' ) #
寫入unicode f.write(u) #
寫入str,自動進行解碼編碼操作 #
GBK編碼的str s
= '漢' print repr (s)
#
'\xba\xba' #
這裏會先將GBK編碼的str解碼爲unicode再編碼爲UTF-8寫入 f.write(s)
f.close() |
2.4. 與編碼相關的方法
sys/locale模塊中提供了一些獲取當前環境下的默認編碼的方法。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
|
#
coding:gbk import sys import locale def p(f): print '%s.%s():
%s' % (f.__module__,
f.__name__, f()) #
返回當前系統所使用的默認字符編碼 p(sys.getdefaultencoding) #
返回用於轉換Unicode文件名至系統文件名所使用的編碼 p(sys.getfilesystemencoding) #
獲取默認的區域設置並返回元祖(語言, 編碼) p(locale.getdefaultlocale) #
返回用戶設定的文本數據編碼 #
文檔提到this function only returns a guess p(locale.getpreferredencoding) #
\xba\xba是'漢'的GBK編碼 #
mbcs是不推薦使用的編碼,這裏僅作測試表明爲什麼不應該用 print r "'\xba\xba'.decode('mbcs'):" ,
repr ( '\xba\xba' .decode( 'mbcs' )) #在筆者的Windows上的結果(區域設置爲中文(簡體,
中國)) #sys.getdefaultencoding():
gbk #sys.getfilesystemencoding():
mbcs #locale.getdefaultlocale():
('zh_CN', 'cp936') #locale.getpreferredencoding():
cp936 #'\xba\xba'.decode('mbcs'):
u'\u6c49' |
3.一些建議
3.1. 使用字符編碼聲明,並且同一工程中的所有源代碼文件使用相同的字符編碼聲明。
這點是一定要做到的。
3.2. 拋棄str,全部使用unicode。
按引號前先按一下u最初做起來確實很不習慣而且經常會忘記再跑回去補,但如果這麼做可以減少90%的編碼問題。如果編碼困擾不嚴重,可以不參考此條。
3.3. 使用codecs.open()替代內置的open()。
如果編碼困擾不嚴重,可以不參考此條。
3.4. 絕對需要避免使用的字符編碼:MBCS/DBCS和UTF-16。
這裏說的MBCS不是指GBK什麼的都不能用,而是不要使用Python里名爲'MBCS'的編碼,除非程序完全不移植。
Python中編碼'MBCS'與'DBCS'是同義詞,指當前Windows環境中MBCS指代的編碼。Linux的Python實現中沒有這種編碼,所以一旦移植到Linux一定會出現異常!另外,只要設定的Windows系統區域不同,MBCS指代的編碼也是不一樣的。分別設定不同的區域運行2.4小節中的代碼的結果:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
|
#中文(簡體,
中國) #sys.getdefaultencoding():
gbk #sys.getfilesystemencoding():
mbcs #locale.getdefaultlocale():
('zh_CN', 'cp936') #locale.getpreferredencoding():
cp936 #'\xba\xba'.decode('mbcs'):
u'\u6c49' #英語(美國) #sys.getdefaultencoding():
UTF-8 #sys.getfilesystemencoding():
mbcs #locale.getdefaultlocale():
('zh_CN', 'cp1252') #locale.getpreferredencoding():
cp1252 #'\xba\xba'.decode('mbcs'):
u'\xba\xba' #德語(德國) #sys.getdefaultencoding():
gbk #sys.getfilesystemencoding():
mbcs #locale.getdefaultlocale():
('zh_CN', 'cp1252') #locale.getpreferredencoding():
cp1252 #'\xba\xba'.decode('mbcs'):
u'\xba\xba' #日語(日本) #sys.getdefaultencoding():
gbk #sys.getfilesystemencoding():
mbcs #locale.getdefaultlocale():
('zh_CN', 'cp932') #locale.getpreferredencoding():
cp932 #'\xba\xba'.decode('mbcs'):
u'\uff7a\uff7a' |
可見,更改區域後,使用mbcs解碼得到了不正確的結果,所以,當我們需要使用'GBK'時,應該直接寫'GBK',不要寫成'MBCS'。
UTF-16同理,雖然絕大多數操作系統中'UTF-16'是'UTF-16-LE'的同義詞,但直接寫'UTF-16-LE'只是多寫3個字符而已,而萬一某個操作系統中'UTF-16'變成了'UTF-16-BE'的同義詞,就會有錯誤的結果。實際上,UTF-16用的相當少,但用到的時候還是需要注意。
--END--