utf8:国际编码,1个字节表示英文,3个字节表示中文
gbk:国家标准,2个字节表示中文
unicode:统一码,二进制编码
gbk与utf的编码方式的不同,导致了不同类型的文件打开方式不同。
gbk格式的文件,要用codes.open(file_name,'r','gbk')的方式打开,读写的时候,line = line.rstrip("\n").encode('utf8')
正常情况下,gbk转码成utf: gbk解码成unicode码,然后把unicode码编码成utf8格式
str.decode('gbk').encode('utf8')
读写gbk文件:
# -*- coding: utf-8 -*-
#!/usr/bin/python
import sys
import codecs
def read_file(file_name):
with codecs.open(file_name,"r",'gbk') as fp:
for line in fp:
line = line.rstrip("\n").encode('utf8')
print line
if __name__=="__main__":
print sys.getdefaultencoding()
reload(sys)
sys.setdefaultencoding('utf8')
print sys.getdefaultencoding()
read_file("test")