python對多國語言的處理是支持的很好的,它可以處理現在任意編碼的字符,這裏深入的研究一下python對多種不同語言的處理。
有一點需要清楚的是,當python要做編碼轉換的時候,會藉助於內部的編碼,轉換過程是這樣的:
原有編碼 -> 內部編碼 -> 目的編碼
python的內部是使用unicode來處理的,但是unicode的使用需要考慮的是它的編碼格式有兩種,一是UCS-2,它一共有65536個碼 位,另一種是UCS-4,它有2147483648g個碼位。對於這兩種格式,python都是支持的,這個是在編譯時通過--enable- unicode=ucs2或--enable-unicode=ucs4來指定的。那麼我們自己默認安裝的python有的什麼編碼怎麼來確定呢?有一個 辦法,就是通過sys.maxunicode的值來判斷:
import sys
print sys.maxunicode
如果輸出的值爲65535,那麼就是UCS-2,如果輸出是1114111就是UCS-4編碼。
我們要認識到一點:當一個字符串轉換爲內部編碼後,它就不是str類型了!它是unicode類型:
a = " 風捲殘雲 "
print type(a)
b = a.unicode(a, " gb2312 " )
print type(b)
輸出:
這個時候b可以方便的任意轉換爲其他編碼,比如轉換爲utf-8:
c = b.encode( " utf-8 " )
print c
c輸出的東西看起來是亂碼,那就對了,因爲是utf-8的字符串。
好了,該說說codecs模塊了,它和我上面說的概念是密切相關的。codecs專門用作編碼轉換,當然,其實通過它的接口是可以擴展到其他關於代碼方面的轉換的,這個東西這裏不涉及。
# -*- encoding: gb2312 -*-
import codecs, sys
print ' - ' * 60
# 創建gb2312編碼器
look = codecs.lookup( " gb2312 " )
# 創建utf-8編碼器
look2 = codecs.lookup( " utf-8 " )
a = " 我愛北京 "
print len(a), a
# 把a編碼爲內部的unicode, 但爲什麼方法名爲decode呢,我的理解是把gb2312的字符串解碼爲unicode
b = look.decode(a)
# 返回的b[0]是數據,b[1]是長度,這個時候的類型是unicode了
print b[ 1 ], b[0], type(b[0])
# 把內部編碼的unicode轉換爲gb2312編碼的字符串,encode方法會返回一個字符串類型
b2 = look.encode(b[0])
# 發現不一樣的地方了吧?轉換回來之後,字符串長度由14變爲了7! 現在的返回的長度纔是真正的字數,原來的是字節數
print b2[ 1 ], b2[0], type(b2[0])
# 雖然上面返回了字數,但並不意味着用len求b2[0]的長度就是7了,仍然還是14,僅僅是codecs.encode會統計字數
print len(b2[0])
上面的代碼就是codecs的使用,是最常見的用法。另外還有一個問題就是,如果我們處理的文件裏的字符編碼是其他類型的呢?這個讀取進行做處理也需要特殊的處理的。codecs也提供了方法.
# -*- encoding: gb2312 -*-
import codecs, sys
# 用codecs提供的open方法來指定打開的文件的語言編碼,它會在讀取的時候自動轉換爲內部unicode
bfile = codecs.open( " dddd.txt " , ' r ' , " big5 " )
# bfile = open("dddd.txt", 'r')
ss = bfile.read()
bfile.close()
# 輸出,這個時候看到的就是轉換後的結果。如果使用語言內建的open函數來打開文件,這裏看到的必定是亂碼
print ss, type(ss)