chardet庫文檔:https://chardet.readthedocs.io/en/latest/usage.html
模塊介紹
Chardet:通用字符編碼檢測器
檢測字符集範圍:
ASCII,UTF-8,UTF-16(2種變體),UTF-32(4種變體)
Big5,GB2312,EUC-TW,HZ-GB-2312,ISO-2022-CN(繁體中文和簡體中文)
EUC-JP,SHIFT_JIS,CP932,ISO-2022-JP(日文)
EUC-KR,ISO-2022-KR(韓文)
KOI8-R,MacCyrillic,IBM855,IBM866,ISO-8859-5,windows-1251(西里爾文)
ISO-8859-5,windows-1251(保加利亞語)
ISO-8859-1,windows-1252(西歐語言)
ISO-8859-7,windows-1253(希臘語)
ISO-8859-8,windows-1255(視覺和邏輯希伯來語)
TIS-620(泰國語)d'y
當python程序中某一個數據文件不知道編碼時,可使用chardet第三方庫來檢測,代碼如下(path中填對應文件路徑即可
import chardet
if __name__ == '__main__':
path='***'
f=open(path,'rb')
data=f.read()
print(chardet.detect(data))
# {'language': '', 'confidence': 0.73, 'encoding': 'Windows-1252'}
detect函數
只需要一個 非unicode字符串參數,返回一個字典。該字典包括判斷到的編碼格式及判斷的置信度。
chardet.detect()
的返回值,爲一個字典:
{'language': '', 'confidence': 0.73, 'encoding': 'Windows-1252'}
得到文件的編碼方式,可以才採用字典的方式
codedetect = chardet.detect(data)["encoding"] #檢測得到編碼方式