Python 3读取文件解码异常UnicodeDecodeError
https://www.jianshu.com/p/9cb55b7173ae
1、遇到了解码问题
今天在做中文语料库的预处理工作,读文件的时候提示解码错误,UnicodeDecodeError,总结一下解决的办法……
2、写在前面
字符需要指定编码格式,然后才能以字节的形式存储到磁盘,下次打开文件,需要使用相同编码格式进行解码,才不会出现乱码的情况。
3、打开文件需要指定编码格式
在Python(或者其它编程语言)中,打开文件时with open(file_url, 'r', edcoding='utf-8') as f:
,需要指定编码格式,默认编码格式为当前平台的格式,我的是gbk,打开时指定的编码格式要与存储编码格式相同。
4、判断文件的编码格式
在Python中可以使用chardet.detect函数判断文件的编码格式:
作者:就是杨宗
链接:https://www.jianshu.com/p/9cb55b7173ae
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。