chardet库:识别文件的编码格式

chardet库文档:https://chardet.readthedocs.io/en/latest/usage.html

模块介绍

Chardet:通用字符编码检测器
检测字符集范围:

ASCII,UTF-8,UTF-162种变体),UTF-324种变体)
Big5,GB2312,EUC-TW,HZ-GB-2312,ISO-2022-CN(繁体中文和简体中文)
EUC-JP,SHIFT_JIS,CP932,ISO-2022-JP(日文)
EUC-KR,ISO-2022-KR(韩文)
KOI8-R,MacCyrillic,IBM855,IBM866,ISO-8859-5,windows-1251(西里尔文)
ISO-8859-5,windows-1251(保加利亚语)
ISO-8859-1,windows-1252(西欧语言)
ISO-8859-7,windows-1253(希腊语)
ISO-8859-8,windows-1255(视觉和逻辑希伯来语)
TIS-620(泰国语)d'y

当python程序中某一个数据文件不知道编码时,可使用chardet第三方库来检测,代码如下(path中填对应文件路径即可

import chardet
 
if __name__ == '__main__':
	path='***'
	f=open(path,'rb')
	data=f.read()
	print(chardet.detect(data))
	# {'language': '', 'confidence': 0.73, 'encoding': 'Windows-1252'}

detect函数只需要一个 非unicode字符串参数,返回一个字典。该字典包括判断到的编码格式及判断的置信度。
chardet.detect() 的返回值,为一个字典:

{'language': '', 'confidence': 0.73, 'encoding': 'Windows-1252'}

得到文件的编码方式,可以才采用字典的方式

  codedetect = chardet.detect(data)["encoding"]    #检测得到编码方式
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章